首页>会议文档 >

滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践

page:
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践
滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践

滴滴出行 艾毅 - 滴滴业务实时监控系统架构及实践

所属会议:2016中国大数据技术大会( BDTC )会议地点:北京


下载

手机看
活动家APP客户端

扫二维码下载
或点击下载
Android iOS

9584次
浏览次数
2016中国大数据技术大会( BDTC )所有文档 dmaster 刘喆 - 基于图算法的跨设备受众识别 张洋 - 京东数据库备份系统进化之路 中国科学技术大学 陈恩红 - 领域知识驱动的个性化推荐方法 亚信数据 杨光明子 - 面向电信领域的海量实时数据处理技术与实践 今日头条曹欢欢 - 人工智能时代的媒体技术革命 中国科学院 陈洛南 - 生物医学大数据的“疾病前兆”-- “未病”的定量诊断 -- D-Uni Founder&CEO查理 - 数据敏捷性 数据时代的云架构 焦烈焱 - 数字化转型中的大数据治理架构 阿里云 刘吉哲 - 算法平台架构与应用 On MaxCompute 腾讯 陈鹏 - 腾讯大数据能力输出之路 中国电子技术标准化研究院 代红 - 推动标准验证、促进标准应用——大数据标准化助力产业发展 京东 殷大伟 - 网页搜索引擎中的排序相关度 翟成祥 - 文本大数据分析与挖掘:机遇,挑战,及应用前景 DataTorrent 华思远 - 下一代实时数据处理引擎——Apache Apex项目简介及应用 小米 崔建伟 - 小米融合云实践 携程 张翼 - 携程Spark算法平台及其应用 科大讯飞 谭昶 - 讯飞大数据的实践与思考 陈钢 - 以个人基因组服务为基础的亚洲人基因组数据平台 闫超众 - 中国移动基于PostgreSQL系列开源数据库的实践 宝信软件 李一名 - 工业大数据的落地选择与分析实践 昆仑数据 陆薇 - 工业大数据助力中国智造 南大通用数据 武新 - 关系型模型与非关系模型的融合:技术实战与展望 全国信标委 杜小勇 - 国家大数据标准化工作进展 华为 孙桂林 - 华为大数据多租户技术探索与实践 北京邮电大学熊永平 - 基于SPARK的交互式数据探索与建模系统 中国科学院 王秀杰 - 多样的RNA层面调控干细胞多能性 中国信息通信研究院 魏凯 - 电信大数据创新与合规性 巨杉数据库 王涛 - NewSQL技术解析与企业级应用案例 去哪儿网 吕晓旭 - Qunar实时数据云平台实践 中兴飞流 郑龙 - Yita:基于数据流的大数据计算引擎 百度 秦铎浩 - 百度大规模推荐系统实践 百度 黄鑫 - 百度大数据离线计算平台发展历程 360 鲍旭华 - 大数据安全防护 中国信息通信研究院李海英 - 大数据发展的产业困惑与法律应对 启明星辰 潘柱廷 - 大数据发展趋势报告 亚信数据DataFoundry 叶鹏 - 大数据服务在云原生应用中的使用探索 观数科技李科 - 大数据基础组建的安全解决方案 星环科技 孙元浩 - 大数据技术的最新进展和发展趋势 成都数联铭品 袁先智 - 大数据框架下的小微企业信用评级: 理论与实践的结合 宜信大数据创新中心 郑赟 - 大数据驱动的在线快速信贷业务实践 明朝万达 喻波 - 大数据视野下的数据安全防护体系探索 北京航空航天大学 裴炜 - 大数据侦查与刑事正当程序之调和 360 朱广彬 - 360聚效广告大数据平台实践 跬智科技 李扬 - Apache Kylin的新Streaming OLAP实现 PerfXLab澎峰科技 张先轶 - ARM嵌入式系统的DNN性能优化 华为 李昆 - CarbonData:Hadoop生态面向交互式分析的索引文件格式 中国移动 陶捷 - DCOS on YARN在中国移动的实践 清华大学教授 陈文光 - Gemini:基于图计算的高性能大数据分析系统

文档介绍

滴滴出行大数据部BI系统组负责人艾毅在主题演讲《业务实时监控系统架构及实践》中首先分析了滴滴实时监控系统演变历程。目前该系统采用Kafka+Druid+Samza技术架构,优势有可实时分析海量数据(秒级),实现了OLAP系统交互式查询。具有高可用性、易扩展性、高性能、支持有状态的实时计算。   接下来,艾毅分享了该技术选型背后的原因。Kafka是一个高性能、高可用、易扩展的分布式日志系统,可很好地对整个数据处理流程进行解耦,这对实时监控系统架构很关键。Druid是针对时间序列数据提供低延时的数据写入以及快速交互式查询的的分布式OLAP数据库,其数据存储方式有,(1)为OLAP查询优化过的列式存储结构Segment;(2)Segment中存储聚合计算后的统计结果;(3)主要根据时间对Segment文件进行分片存储。此外,还介绍了Druid的数据处理流程。Druid支持近似统计算法、支持地理查询。至于Samza,它是一个分布式的实时计算框架,支持低延时的、有状态的实时计算。接下来,就运行机制、高可用性、数据处理流程、常见计算类型对Samza做了详细介绍。

×

打开微信扫一扫,分享到朋友圈