饿了么实时数据平台经历了从0到支持百万每秒级别数据稳定运营,如何快速构建稳定高可用的实时平台,有效解决实时数据延迟,全链路监控和大规模实时集群迁移等。用户如何通过实时数据平台更方便管理任务,快速定位问题,更高效体现业务数据价值。通过上述角度分享一些在实时平台方面的心得。主要技术点:大数据,实时计算,Storm、Kafka、ES等。
常老师2014年加入饿了么数据架构团队,一直从事实时数据平台的开发、运维和架构设计,目前主要致力于实时数仓的构建和完善实时平台全链路监控系统。
从0到1
饿了么实时数据平台经历了从0到支持百万每秒级别数据稳定运营,如何快速构建稳定高可用的实时平台,有效解决实时数据延迟,全链路监控和大规模实时集群迁移等。用户如何通过实时数据平台更方便管理任务,快速定位问题,更高效体现业务数据价值。常老师通过上述角度分享了一些在实时平台方面的心得。主要技术点包括大数据、实时计算、Storm、Kafka、ES等。
每一个组件也许都踩过N次的坑......
从0到1的实践:
高速发展
高速发展之烦恼,常老师总结道:“1、业务场景:交易、推荐、测试;2、平台问题:雪崩、规范;3、监控:粒度粗、告警多;4、压力:大促销、多维指标;5、资源:机器&人力、经验匮乏。”
谈到高速发展监控优化时,常老师表示,监控问题:粒度粗、无效告警多;监控梳理:全链路、机器级别、服务级别、应用级别;监控完善:链路延迟、组件Metric、DB 性能;监控展示:阈值实时告警,数据入库展示;监而可控:应用自动拉起、监控驱动优化。
高速发展之总结
成熟与完善
实时计算平台?不就Storm吗?
业务实现实时应用,如何开发、上线、监控?
消息队列里同一份数据,总是被多次重复处理?
各种乱七八糟的报警,如何屏蔽或自定义监控?
应用又报错,哪里可以快速、高效检索应用日志?
。。。。。。
新方向&新挑战
BI同学想说:如何快速实时数据报表&实时数据分析
实时计算同学想说:计算框架能否更快、更准确、更完美
未来构想
浏览7480次
浏览5366次
浏览4253次
浏览7712次
浏览9636次
浏览1439次
2025-06-20 深圳
2025-04-19 南京
2025-04-22 上海
2025-05-23 上海
打开微信扫一扫,分享到朋友圈
Text