找会议，上活动家 商务会议
 会议PPT 培训课程 发布活动
订单查询
会议PPT
首页>会议文档 >

七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用

page：
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用
七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用

七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用

所属会议：2017中国云计算技术大会（CCTC）会议地点：北京
下载
手机看
活动家APP客户端

扫二维码下载
或点击下载 Android iOS


5539次
浏览次数
2017中国云计算技术大会（CCTC）所有文档 银链科技 申屠青春——如何搭建区块链应用 Rancher Labs 梁胜——如何用“简单易用”解锁容器云的真正潜力 比特宝 谈国鹏——深入理解跨链技术 58集团 孙玄——实施微服务架构的关键技术 清华大学 章明星，高品，艾智远，陈康——图计算优化技术探索 DaoCloud 王天青——微服务架构转型的三大挑战及应对之策 科大讯飞 刘君——讯飞语音云实时分析架构及实践 存储解决方案顾问芦浩——云计算背景下存储技术的发展与应用 云时代大数据管理引擎HAWQ++ 阿里巴巴 孙健/千诀——智能人机对话面临的挑战、进展和机遇 中国移动 曹高晋——中国移动PaaS平台技术选型和实践经验分享 云计算产品部 刘军卫——中移苏研存储产品规划和实践经验分享 UCloud 彭晶鑫——重新定义云数据保护 恒丰银行 刘骁——走出堡垒，恒丰银行金融云转型实践 美团点评 郑坤——美团点评业务容器化实战分享 智链CEO董宁——企业级区块链开发平台 国家气象局 沈文海——气象信息化中的云计算 上海乐住 CTO王玮——区块链技术的回顾与展望 张蕾——区块链业务分析方法实践 人民保险 李赫——区块链原理及保险业应用思考 分布科技 张铮文——区块链智能资产开发实践 凡泰极客 ：杨涛——容器化研发流程及交付网络 深圳睿云智合 徐年——容器化引领IT新常态 思杰 何浩祥——容器架构下，多云平台的运维实践 融数数据北京研发中心CTO——融数数据基于Kubernetes的微服务治理和构建平台 宜人贷 王婷——金融反欺诈场景下的Spark实践 京东 李鹏涛——京东物流大数据应用实践之路 亚信DataFoundry 叶鹏——开源广进，用service catalog构造k8s服务能力中心 新浪微博 吴磊——基于Spark的大规模机器学习在微博的应用 Hortonworks 梁堰波——基于Spark的面向10亿级别特征的大规模机器学习 北京邮电大学 熊永平——基于Spark的统一数据管理与数据探索平台 Mesosphere Gilbert Song——基于微服务的现代应用实践 苏宁云商 陈泽——Spark App自动化故障分析与诊断 阿里巴巴 宋军——SparkSQL在ETL中的应用 阿里云 陈萌辉——Swarm的进化与大规模应用 第四范式 涂威威——大规模分布式机器学习系统设计和应用经验分享 HanSight 张军——大数据安全分析在电子银行业的探索与实践 东方国信 王虎——大数据核心技术在运营商的应用与实践 邹均——共识简史——回顾·现状·未来 基于Mesos Docker构建数据处理平台 Deep Dive in DC OS 滴滴出行 李扬——HBase在滴滴出行的应用场景和最佳实践 IBM 李燕生——Hyperledger技术实践与案例分享 hyper.sh 裴彤——Hyper容器云及云上运维 华为 李昆——CarbonData大数据高性能交互式分析实践 MoPaaS 沈阅斌——Cloud Foundry在企业融合云平台中的应用 Deep Dive How Spark Uses Memory

文档介绍

七牛云高级大数据工程师赵宏尧分享了题为《基于Spark的流式处理引擎在Pandora大数据产品中的应用》的演讲。据悉，Pandora目前的数据处理规模已达到了每分钟实时写入的数据量达到数百GB， 每分钟实时写入的数据条目达到数十亿 。赵宏尧介绍了Pandora核心组件——计算平台架构，包括实时任务和离线任务调度管理平台、资源管理平台（YARN,Mesos,自研容器云平台）及Spark组件。他重点讲解了流处理技术服务化需要考虑的两个问题 ：用户的使用接口， 技术细节的屏蔽 。用户接口他建议schema，具有数据流健壮、存储计算高效、数据类型丰富等特点。在技术细节处理上，Spark Streaming在生产上的常见问题有运行状态管理和监控、数据丢失、数据消费延迟、聚合操作处理等，赵宏尧给出了对应的解决方案。

相关会议文档推荐

Tobi Knaup

Mesosphere 联合创始人兼CTO

了解更多 >

相关会议

×

打开微信扫一扫，分享到朋友圈

CopyRight 活动家 huodongjia.com

活动家微信

优质会议及时推荐，查
询会议更方便

活动家APP

活动家app，随
时随地方便报名参会

活动家介绍：
找会议文档，上活动家！活动家是权威的会议文档阅读与知识分享平台，为用户提供各类会议的演讲干货， 现场资料，可在线预览，也可免费下载，专业编辑梳理，帮助用户更便捷高效的收获知识。

热门关键词：
运维 移动互联网 云计算 人工智能 FinTech 企业家 虚拟现实 大数据 游戏 创业创新 架构 跨境电商 3D打印 物联网 智慧医疗 环保 生物技术 智能制造 零售业 新能源汽车

CopyRight 活动家 huodongjia.com ,蜀ICP备17005018号-4 增值电信业务经营许可证编号川B2-20130143