
































苏宁云商IT总部高级技术经理陈泽分享了主题为《Spark App自动化故障分析与诊断》的演讲。陈泽首先谈到了苏宁大数据平台架构,分为离线计算、流式计算、OLAP引擎三部分,基于Spark的应用在其中用得越来越广泛,目前集群规模是Yarn集群700节点,任务规模5W任务/天,处理的数据量300TB/天。陈泽重点讲解了基于Spark构建的CBT调度平台、SSMP平台和机器学习平台。据介绍,苏宁Spark平台化过程中曾遇到不少问题。在业务层面,对Spark SQL的认识不够,导致过度的依赖Spark RDD层面的API;对内存计算存在误解,不合理使用Cache机制,导致资源浪费;在平台方面,未提供数据来指导用户去优化Executor个数以及内存参数,导致平台资源利用率过低等问题。
浏览3232次
浏览2565次
浏览5963次
浏览1538次
浏览5092次
浏览6678次
2026-06-12 太原
2026-04-24 杭州
2026-12-18 北京
2026-04-10 上海
打开微信扫一扫,分享到朋友圈