哔哩哔哩数据服务中台建设实践( 四 )


全链路监控:数据从定义到生产到消费环节,有完整的监控链路,以此来确保口径的持续一致性 。指标一致性监控:维度建模的数仓中,同一个指标由于分析思路或者需求场景,最终生产此指标的模型可能是多个,那么就需要保障指标在不同模型间的口径一致性 。通过一致性对比或者闭环公式校验等手段,发现指标口径不一致,然后通过口径变更、模型换绑等治理方法来持续保障指标口径的一致;出仓一致性监控:出仓过程中数据集成工具保障了实时的一致性,这里需要保障的是,由于历史数据变更导致的出仓前后数据不一致的问题;服务质量监控:从数据出口监控数据的质量情况,主要包括阈值监控,波动率监控等,发现质量问题,保障出口的最终口径一致性 。
2、降本增效中台的建设最终是要为企业降本增效的 。过往中,不同业务线重复建设,垂直产品线烟囱式的开发,使得数据成为一个个孤岛,虽能满足单一业务场景,但是却增加了各个业务线的合作成本 。
我们的建设思路是,首先将公共、通用的部分抽离出来,形成可复用服务,让业务可以快速完成数据链路的搭建,减少业务重复造轮子,降低研发成本;其次,统一服务标准,通过快速复用已建设的数据链路搭建的能力,让数据从定义-->生产-->消费的整个周期缩短,提升对接效率,为数据在不同部门间流转创造可能 。

哔哩哔哩数据服务中台建设实践

文章插图
降本:数据建设成本:通过模型、指标标准化的定义与管理,数据建设中的一个个表或者模型成为一个可以复用的标准数据资产,数据建设中只需增量建设,规避重复建设,降低数据的建设成本 。
服务研发成本:服务通过标准化方式构建,下游使用无歧义,使得API复用成为可能,减少了服务研发成本,服务资源可以重复利用 。
提效:数据构建提效:数据构建时,通过元数据的管理,自动化及半自动化的构建出模型及指标,提高了数据构建效率;另外构建出的数据资产是标准化的,消除了数据格式、生产、存储等差异性,下游消费时不用关心底层的逻辑,提高了应用的效率 。
服务使用提效:标准化的API,在系统对接时可以实现一次对接沟通,多次复用,提高了API的对接效率 。
3、高可用建设
哔哩哔哩数据服务中台建设实践

文章插图
服务隔离:隔离是将服务或资源分割开 。服务隔离是为了在服务发生故障时,能减少传播范围和影响范围,故障发生后不会发生滚雪球效应,从而保证只有出问题的服务不可用,我们根据服务的保障等级,划分为5个服务资源组,不同资源组相互独立,不会产生相互影响;存储资源隔离是通过资源隔离来减少资源竞争,保障服务间的相互不影响和可用性,我们将资源隔离做到API级别,不同API间及不同等级间做隔离,充分保障资源间的相互不影响 。
异地双活:异地双活的目的也就是容灾,当某个地方服务出现了灾难性故障,而服务仍然能正常提供服务 。我们根据业务的部署情况,选择距离业务较近的A、B两地机房部署服务,正常情况下同机房的请求链路为主链路,当某地服务宕机,则会自动降级到另外一地的服务 。
四、数据服务中台成果&规划最后分享我们的数据服务中台目前取得的成果,以及未来的建设规划 。
哔哩哔哩数据服务中台建设实践

文章插图
B站数据服务中台上线一年左右,目前支持三大类数据使用场景,一种是API的使用场景,提供了API市场,包括在线、准在线、OLAP分析,以及实时的场景;第二块是支撑数据产品建设,包括业务分析产品、平台分析产品、主题分析产品等;第三是支持BI工具,比如自助取数、异动分析、下钻分析、自助报表等 。
哔哩哔哩数据服务中台建设实践

文章插图
API的数量目前有600个以上,在性能和稳定性方面都有着不错的表现,数据开发周期从原来平均1周的时间,缩短到现在的1天左右 。
哔哩哔哩数据服务中台建设实践

文章插图
未来我们会从五个方向去做数据服务中台建设:
第一个是服务治理方向,根据服务等级、服务监控、数据链路的信息,让服务能够高质量、低成本、强有效地运行 。
第二个方向是支持更多的场景,比如推动一些平台类的产品接入,包括标签平台、AB 平台的等能够从服务中台管理及使用数据 。


推荐阅读