FreeWheel是一家主要服务于北美和欧洲客户的视频广告技术公司,为大型电视媒体和优质内容供应商提供企业级的视频广告解决方案,每天完成近10亿次视频广告投放,积累了大量的视频观看和广告投放数据。 在公司的大数据平台之上,我们构建以Presto为核心的OLAP,满足实时查询的要求。随着业务对于Presto的增长,效率、延迟以及数据管理成为制约Presto OLAP应用的重要问题。 在实践中,我们需要解决下面几个问题: 数据发布的原子性。原始的业务日志分为2部分:实时部分和近实时部分,这两部分数据数据边界的切分需要保证原子性。 数据索引的开销。近实时部份使用parquet格式存储,针对业务特点做了分区/bucket,内建索引不能充分利用这些特点;而且由于文件数量大,查询时扫描索引开销很大,效率比较低。 Presto资源和业务需求之间的矛盾。 基于此,我们实现了Metadata Service和CacheLayer Service,以及实现Presto为核心的OLAP服务在AWS上弹性部署: Metadata services - 用来处理数据发布的原子性,支持index online和offline的混合部署。 Cache Layer services - 切分查询,按时间汇总,只计算增量部分。 Presto on AWS 混合云部署架构 - 根据业务需求弹性扩展。 通过这些工作,极大地提升了SQL执行效率,全面支撑数据产品服务。
浏览5034次
浏览8919次
浏览4104次
浏览7652次
浏览2910次
浏览8259次
2024-08-23 上海
2024-09-25 上海
2024-07-20 上海
2024-06-28 上海
打开微信扫一扫,分享到朋友圈