面对互联网信息的爆发式增长,BBD数据平台每天处理上亿的多源异构数据,但是数据质量的参差不齐直接影响下游产品的开发周期与用户体验。所以,我们在数据处理的过程中,从采集、清洗、解析到存储、应用、推送,每一个环节都需要在数据的“质”与“量”上下足功夫。BBD数据平台提供流水线式的数据处理方式,以离线预处理的方式构建数据模型,在反复验证之后,将数据模型同步到流式计算中提供在线服务,对数据模型的评价策略进行实时反馈,同时做到数据的可追溯可回滚。因此数据建模对质量管理至关重要,我们在此基础上开发出了一整套可视化建模、预处理、调度工具,从而深度挖掘数据相关属性,为数据的“质”与“量”提供可靠保证。
浏览2895次
浏览5017次
浏览5200次
浏览10150次
浏览7488次
浏览9241次
2024-08-23 上海
2024-07-20 上海
2024-06-28 上海
2024-06-28 北京
打开微信扫一扫,分享到朋友圈