七牛云赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用

2017中国云计算技术大会（CCTC）所有文档
银链科技申屠青春——如何搭建区块链应用
6213次
Rancher Labs 梁胜——如何用“简单易用”解锁容器云的真正潜力
6208次
比特宝谈国鹏——深入理解跨链技术
1499次
58集团孙玄——实施微服务架构的关键技术
5807次
清华大学章明星，高品，艾智远，陈康——图计算优化技术探索
12604次
DaoCloud 王天青——微服务架构转型的三大挑战及应对之策
7677次
科大讯飞刘君——讯飞语音云实时分析架构及实践
6935次
存储解决方案顾问芦浩——云计算背景下存储技术的发展与应用
6684次
云时代大数据管理引擎HAWQ++
8679次
阿里巴巴孙健/千诀——智能人机对话面临的挑战、进展和机遇
3899次
中国移动曹高晋——中国移动PaaS平台技术选型和实践经验分享
9856次
云计算产品部刘军卫——中移苏研存储产品规划和实践经验分享
9932次
UCloud 彭晶鑫——重新定义云数据保护
4245次
恒丰银行刘骁——走出堡垒，恒丰银行金融云转型实践
5049次
美团点评郑坤——美团点评业务容器化实战分享
6048次
智链CEO董宁——企业级区块链开发平台
5266次
国家气象局沈文海——气象信息化中的云计算
8943次
上海乐住 CTO王玮——区块链技术的回顾与展望
6123次
张蕾——区块链业务分析方法实践
2698次
人民保险李赫——区块链原理及保险业应用思考
1106次
分布科技张铮文——区块链智能资产开发实践
1377次
凡泰极客：杨涛——容器化研发流程及交付网络
7401次
深圳睿云智合徐年——容器化引领IT新常态
6982次
思杰何浩祥——容器架构下，多云平台的运维实践
5346次
融数数据北京研发中心CTO——融数数据基于Kubernetes的微服务治理和构建平台
4716次
宜人贷王婷——金融反欺诈场景下的Spark实践
6705次
京东李鹏涛——京东物流大数据应用实践之路
8025次
亚信DataFoundry 叶鹏——开源广进，用service catalog构造k8s服务能力中心
3478次
新浪微博吴磊——基于Spark的大规模机器学习在微博的应用
4547次
Hortonworks 梁堰波——基于Spark的面向10亿级别特征的大规模机器学习
2753次
北京邮电大学熊永平——基于Spark的统一数据管理与数据探索平台
8685次
Mesosphere Gilbert Song——基于微服务的现代应用实践
6349次
苏宁云商陈泽——Spark App自动化故障分析与诊断
8744次
阿里巴巴宋军——SparkSQL在ETL中的应用
9816次
阿里云陈萌辉——Swarm的进化与大规模应用
10403次
第四范式涂威威——大规模分布式机器学习系统设计和应用经验分享
4913次
HanSight 张军——大数据安全分析在电子银行业的探索与实践
7080次
东方国信王虎——大数据核心技术在运营商的应用与实践
10868次
邹均——共识简史——回顾·现状·未来
9984次
基于Mesos Docker构建数据处理平台
3545次
Deep Dive in DC OS
9239次
滴滴出行李扬——HBase在滴滴出行的应用场景和最佳实践
10614次
IBM 李燕生——Hyperledger技术实践与案例分享
2852次
hyper.sh 裴彤——Hyper容器云及云上运维
4810次
华为李昆——CarbonData大数据高性能交互式分析实践
10545次
MoPaaS 沈阅斌——Cloud Foundry在企业融合云平台中的应用
2704次
Deep Dive How Spark Uses Memory
4823次

七牛云赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用

所属会议：2017中国云计算技术大会（CCTC）会议地点：北京


下载


手机看

扫二维码下载
或点击下载 Android iOS

   

5689次
浏览次数

2017中国云计算技术大会（CCTC）所有文档银链科技申屠青春——如何搭建区块链应用 Rancher Labs 梁胜——如何用“简单易用”解锁容器云的真正潜力比特宝谈国鹏——深入理解跨链技术 58集团孙玄——实施微服务架构的关键技术清华大学章明星，高品，艾智远，陈康——图计算优化技术探索 DaoCloud 王天青——微服务架构转型的三大挑战及应对之策科大讯飞刘君——讯飞语音云实时分析架构及实践存储解决方案顾问芦浩——云计算背景下存储技术的发展与应用云时代大数据管理引擎HAWQ++ 阿里巴巴孙健/千诀——智能人机对话面临的挑战、进展和机遇中国移动曹高晋——中国移动PaaS平台技术选型和实践经验分享云计算产品部刘军卫——中移苏研存储产品规划和实践经验分享 UCloud 彭晶鑫——重新定义云数据保护恒丰银行刘骁——走出堡垒，恒丰银行金融云转型实践美团点评郑坤——美团点评业务容器化实战分享智链CEO董宁——企业级区块链开发平台国家气象局沈文海——气象信息化中的云计算上海乐住 CTO王玮——区块链技术的回顾与展望张蕾——区块链业务分析方法实践人民保险李赫——区块链原理及保险业应用思考分布科技张铮文——区块链智能资产开发实践凡泰极客：杨涛——容器化研发流程及交付网络深圳睿云智合徐年——容器化引领IT新常态思杰何浩祥——容器架构下，多云平台的运维实践融数数据北京研发中心CTO——融数数据基于Kubernetes的微服务治理和构建平台宜人贷王婷——金融反欺诈场景下的Spark实践京东李鹏涛——京东物流大数据应用实践之路亚信DataFoundry 叶鹏——开源广进，用service catalog构造k8s服务能力中心新浪微博吴磊——基于Spark的大规模机器学习在微博的应用 Hortonworks 梁堰波——基于Spark的面向10亿级别特征的大规模机器学习北京邮电大学熊永平——基于Spark的统一数据管理与数据探索平台 Mesosphere Gilbert Song——基于微服务的现代应用实践苏宁云商陈泽——Spark App自动化故障分析与诊断阿里巴巴宋军——SparkSQL在ETL中的应用阿里云陈萌辉——Swarm的进化与大规模应用第四范式涂威威——大规模分布式机器学习系统设计和应用经验分享 HanSight 张军——大数据安全分析在电子银行业的探索与实践东方国信王虎——大数据核心技术在运营商的应用与实践邹均——共识简史——回顾·现状·未来基于Mesos Docker构建数据处理平台 Deep Dive in DC OS 滴滴出行李扬——HBase在滴滴出行的应用场景和最佳实践 IBM 李燕生——Hyperledger技术实践与案例分享 hyper.sh 裴彤——Hyper容器云及云上运维华为李昆——CarbonData大数据高性能交互式分析实践 MoPaaS 沈阅斌——Cloud Foundry在企业融合云平台中的应用 Deep Dive How Spark Uses Memory

文档介绍



七牛云高级大数据工程师赵宏尧分享了题为《基于Spark的流式处理引擎在Pandora大数据产品中的应用》的演讲。据悉，Pandora目前的数据处理规模已达到了每分钟实时写入的数据量达到数百GB，每分钟实时写入的数据条目达到数十亿。赵宏尧介绍了Pandora核心组件——计算平台架构，包括实时任务和离线任务调度管理平台、资源管理平台（YARN,Mesos,自研容器云平台）及Spark组件。他重点讲解了流处理技术服务化需要考虑的两个问题：用户的使用接口，技术细节的屏蔽。用户接口他建议schema，具有数据流健壮、存储计算高效、数据类型丰富等特点。在技术细节处理上，Spark Streaming在生产上的常见问题有运行状态管理和监控、数据丢失、数据消费延迟、聚合操作处理等，赵宏尧给出了对应的解决方案。

Tobi Knaup

Mesosphere 联合创始人兼CTO

了解更多 >

七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用

七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用

文档介绍

相关会议文档推荐

Tobi Knaup

相关会议

Title

七牛云赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用

七牛云赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用