首页>会议文档 >

苏宁云商 陈泽——Spark App自动化故障分析与诊断

page:
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断
苏宁云商 陈泽——Spark App自动化故障分析与诊断

苏宁云商 陈泽——Spark App自动化故障分析与诊断

所属会议:2017中国云计算技术大会(CCTC)会议地点:北京


下载

手机看
活动家APP客户端

扫二维码下载
或点击下载
Android iOS

8426次
浏览次数
2017中国云计算技术大会(CCTC)所有文档 银链科技 申屠青春——如何搭建区块链应用 Rancher Labs 梁胜——如何用“简单易用”解锁容器云的真正潜力 比特宝 谈国鹏——深入理解跨链技术 58集团 孙玄——实施微服务架构的关键技术 清华大学 章明星,高品,艾智远,陈康——图计算优化技术探索 DaoCloud 王天青——微服务架构转型的三大挑战及应对之策 科大讯飞 刘君——讯飞语音云实时分析架构及实践 存储解决方案顾问芦浩——云计算背景下存储技术的发展与应用 云时代大数据管理引擎HAWQ++ 阿里巴巴 孙健/千诀——智能人机对话面临的挑战、进展和机遇 中国移动 曹高晋——中国移动PaaS平台技术选型和实践经验分享 云计算产品部 刘军卫——中移苏研存储产品规划和实践经验分享 UCloud 彭晶鑫——重新定义云数据保护 恒丰银行 刘骁——走出堡垒,恒丰银行金融云转型实践 美团点评 郑坤——美团点评业务容器化实战分享 智链CEO董宁——企业级区块链开发平台 国家气象局 沈文海——气象信息化中的云计算 上海乐住 CTO王玮——区块链技术的回顾与展望 张蕾——区块链业务分析方法实践 人民保险 李赫——区块链原理及保险业应用思考 分布科技 张铮文——区块链智能资产开发实践 凡泰极客 :杨涛——容器化研发流程及交付网络 深圳睿云智合 徐年——容器化引领IT新常态 思杰 何浩祥——容器架构下,多云平台的运维实践 融数数据北京研发中心CTO——融数数据基于Kubernetes的微服务治理和构建平台 宜人贷 王婷——金融反欺诈场景下的Spark实践 京东 李鹏涛——京东物流大数据应用实践之路 亚信DataFoundry 叶鹏——开源广进,用service catalog构造k8s服务能力中心 新浪微博 吴磊——基于Spark的大规模机器学习在微博的应用 七牛云 赵宏尧——基于Spark的流式处理引擎在Pandora大数据产品中的应用 Hortonworks 梁堰波——基于Spark的面向10亿级别特征的大规模机器学习 北京邮电大学 熊永平——基于Spark的统一数据管理与数据探索平台 Mesosphere Gilbert Song——基于微服务的现代应用实践 阿里巴巴 宋军——SparkSQL在ETL中的应用 阿里云 陈萌辉——Swarm的进化与大规模应用 第四范式 涂威威——大规模分布式机器学习系统设计和应用经验分享 HanSight 张军——大数据安全分析在电子银行业的探索与实践 东方国信 王虎——大数据核心技术在运营商的应用与实践 邹均——共识简史——回顾·现状·未来 基于Mesos Docker构建数据处理平台 Deep Dive in DC OS 滴滴出行 李扬——HBase在滴滴出行的应用场景和最佳实践 IBM 李燕生——Hyperledger技术实践与案例分享 hyper.sh 裴彤——Hyper容器云及云上运维 华为 李昆——CarbonData大数据高性能交互式分析实践 MoPaaS 沈阅斌——Cloud Foundry在企业融合云平台中的应用 Deep Dive How Spark Uses Memory

文档介绍

苏宁云商IT总部高级技术经理陈泽分享了主题为《Spark App自动化故障分析与诊断》的演讲。陈泽首先谈到了苏宁大数据平台架构,分为离线计算、流式计算、OLAP引擎三部分,基于Spark的应用在其中用得越来越广泛,目前集群规模是Yarn集群700节点,任务规模5W任务/天,处理的数据量300TB/天。陈泽重点讲解了基于Spark构建的CBT调度平台、SSMP平台和机器学习平台。据介绍,苏宁Spark平台化过程中曾遇到不少问题。在业务层面,对Spark SQL的认识不够,导致过度的依赖Spark RDD层面的API;对内存计算存在误解,不合理使用Cache机制,导致资源浪费;在平台方面,未提供数据来指导用户去优化Executor个数以及内存参数,导致平台资源利用率过低等问题。

×

打开微信扫一扫,分享到朋友圈