滴滴出行大数据部BI系统组负责人艾毅在主题演讲《业务实时监控系统架构及实践》中首先分析了滴滴实时监控系统演变历程。目前该系统采用Kafka+Druid+Samza技术架构,优势有可实时分析海量数据(秒级),实现了OLAP系统交互式查询。具有高可用性、易扩展性、高性能、支持有状态的实时计算。 接下来,艾毅分享了该技术选型背后的原因。Kafka是一个高性能、高可用、易扩展的分布式日志系统,可很好地对整个数据处理流程进行解耦,这对实时监控系统架构很关键。Druid是针对时间序列数据提供低延时的数据写入以及快速交互式查询的的分布式OLAP数据库,其数据存储方式有,(1)为OLAP查询优化过的列式存储结构Segment;(2)Segment中存储聚合计算后的统计结果;(3)主要根据时间对Segment文件进行分片存储。此外,还介绍了Druid的数据处理流程。Druid支持近似统计算法、支持地理查询。至于Samza,它是一个分布式的实时计算框架,支持低延时的、有状态的实时计算。接下来,就运行机制、高可用性、数据处理流程、常见计算类型对Samza做了详细介绍。
浏览3075次
浏览4110次
浏览6219次
浏览7400次
浏览11234次
浏览4325次
2025-01-08 昆明
2025-04-19 南京
2024-12-27 上海
2025-10-23 上海
打开微信扫一扫,分享到朋友圈