FreeWheel是一家主要服务于北美和欧洲客户的视频广告技术公司,为大型电视媒体和优质内容供应商提供企业级的视频广告解决方案,每天完成近10亿次视频广告投放,积累了大量的视频观看和广告投放数据。 在公司的大数据平台之上,我们构建以Presto为核心的OLAP,满足实时查询的要求。随着业务对于Presto的增长,效率、延迟以及数据管理成为制约Presto OLAP应用的重要问题。 在实践中,我们需要解决下面几个问题: 数据发布的原子性。原始的业务日志分为2部分:实时部分和近实时部分,这两部分数据数据边界的切分需要保证原子性。 数据索引的开销。近实时部份使用parquet格式存储,针对业务特点做了分区/bucket,内建索引不能充分利用这些特点;而且由于文件数量大,查询时扫描索引开销很大,效率比较低。 Presto资源和业务需求之间的矛盾。 基于此,我们实现了Metadata Service和CacheLayer Service,以及实现Presto为核心的OLAP服务在AWS上弹性部署: Metadata services - 用来处理数据发布的原子性,支持index online和offline的混合部署。 Cache Layer services - 切分查询,按时间汇总,只计算增量部分。 Presto on AWS 混合云部署架构 - 根据业务需求弹性扩展。 通过这些工作,极大地提升了SQL执行效率,全面支撑数据产品服务。
浏览5249次
浏览9013次
浏览4216次
浏览7851次
浏览3066次
浏览8382次
2025-01-08 昆明
2025-06-20 深圳
2025-04-19 南京
2025-08-15 上海
打开微信扫一扫,分享到朋友圈