面对互联网信息的爆发式增长,BBD数据平台每天处理上亿的多源异构数据,但是数据质量的参差不齐直接影响下游产品的开发周期与用户体验。所以,我们在数据处理的过程中,从采集、清洗、解析到存储、应用、推送,每一个环节都需要在数据的“质”与“量”上下足功夫。BBD数据平台提供流水线式的数据处理方式,以离线预处理的方式构建数据模型,在反复验证之后,将数据模型同步到流式计算中提供在线服务,对数据模型的评价策略进行实时反馈,同时做到数据的可追溯可回滚。因此数据建模对质量管理至关重要,我们在此基础上开发出了一整套可视化建模、预处理、调度工具,从而深度挖掘数据相关属性,为数据的“质”与“量”提供可靠保证。
浏览3073次
浏览5268次
浏览5472次
浏览10418次
浏览7664次
浏览9369次
2025-06-20 深圳
2025-04-19 南京
2025-08-15 上海
2025-10-23 上海
打开微信扫一扫,分享到朋友圈