首页>会议文档 >

阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践

page:
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践
阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践

阿里巴巴 乔红麟 - 阿里巴巴数据库智能优化系统探索与实践

所属会议:APMCon 2017中国应用性能管理大会会议地点:北京


下载

手机看
活动家APP客户端

扫二维码下载
或点击下载
Android iOS

5663次
浏览次数
APMCon 2017中国应用性能管理大会所有文档 中青易游 张辉清 - 从业务架构到微服务 恒丰银行 曾光尧 - 面向数据应用的Reactive微服务架构设计与实践 凡普金科 韦强 - 凡普实时数据处理架构 tutorabc iTutorGroup 杨大鹏 - 见微知著, APM在tutorabc的应用 听云 任燕萍 - 听云平台业务数据实时处理及性能可视化 知乎 王雨舟 - 知乎大数据平台架构实践 猎豹 梁炳辉 - Android应用启动速度和内存优化实践 凤凰金融 张九州 - ReactNative启动性能优化 滴滴出行 戴铭 - 深入剖析IOS性能优化 360 纪纲 - 手机卫士性能优化方案 小红书 朱智伟 - 小红书移动端自动化数据采集实践 青云 马志强 - 从黑盒运维到DEVOPS转型 国美云服 左坚 - 混合云架构设计及性能监控 亚马逊 代闻 - 微服务在云上的架构演进 七牛云 李玮 - 云平台性能优化 泰康保险 王刚 - 大宗能力交付从开始到未来 58 龚诚 - 构建立体化的监控体系 听云 董全宁 - 构建最终用户体验型智能运维 你我贷 杨严飞 - 你我贷运维之路 听云 廖雄杰 - 微服务架构的应用性能监控 销售易 赵宇辰 - 智能运维中的异常检测和根源分析 风起云涌,APM开启全新数字化体验时代 清华 裴丹 - 智能运维中的科研问题 招商银行 张建林 - 金融IT运维对应用性能的提升 趣店 徐章健 - 趣店集团金融级系统容灾最佳实践 农行 赵勇 - 双十一背后的银行系统 汽车之家 王诗扬 - 基于vue的单页面性能优化实践 百度 李文倩 - 基于Web 前端的可用性探索 MIUI 董红光 - 新平台:优化前端技术栈产品体验新思路 美团 胡成全 - 如何做小程序性能优化 知数堂 叶金荣 - MySQL 5-7让优化更轻松 甲骨文 李珈 - 数据库云的未来与DBaaS 京东商城 史季强 - 亿级流量下数据库技术保障实践 搜狗 贤强Docker on Yarn微服务实践 爱奇艺 周海维、赵慰 - 爱奇艺容器云平台性能分析实践 白山云 童剑 - 白山直播CDN流传递链路优化 Akamai 纪永康 - 如何为移动App提供超级用户体验 陌陌 吴涛 - 视频智能CDN调度系统 熊猫直播 卢永菁 - 熊猫直播的流量调度系统 凤凰网 尤春 - Web服务架构变化及性能优化 艺龙网 郭思文 - Web服务器性能优化分享 瓜子二手车 鹏程 - 瓜子服务架构的变迁和性能优化 微店 车明君 - 打造极致体验的H5电商架构 当当 张亮 - 面向云原生的服务架构 搜狐 陈伟 - 搜狐服务建构优化实践 新浪 徐挺 - 新浪广告系统服务化优化 天弘基金 李鑫 - “静态调用链路发现”在APM 爱投资 李鑫 - Disaster Engineer —逆向运维

文档介绍

数据库诊断优化是提高数据库性能和稳定性的关键技术之一。过去几年阿里巴巴集团数据库规模急剧增长并且业务变化越来越快,传统DBA人工加工具的诊断和优化方法在规模如此之大,业务场景如此复杂的今天面临极大的挑战。 阿里巴巴数据库技术团队近几年在智能数据库诊断优化方面有一些探索和实践,期望能够在本次演讲中分享: 1、为什么从传统DBA为中心的专家诊断优化转变为向开发人员提供自助化诊断优化服务? 2、如何将数据库诊断优化专家经验转换为产品? 背后的技术和挑战有哪些? 3、如何基于海量数据分析为诊断优化提供更多有价值的输入? 4、如何结合机器学习/深度学习等技术提供更加智能的数据库诊断和优化服务? 5、“自诊断,自优化”智能数据库诊断优化系统的一些思考

演讲实录

数据库诊断优化是提高数据库性能和稳定性的关键技术之一。过去几年阿里巴巴集团数据库规模急剧增长并且业务变化越来越快,传统DBA人工加工具的诊断和优化方法在规模如此之大,业务场景如此复杂的今天面临极大的挑战。
  阿里巴巴数据库技术事业部近几年在智能数据库诊断优化方面有一些探索和实践,也有不少经验和教训,乔红麟跟我们分享了对于“自诊断,自优化”智能数据库诊断优化系统的思考。
  阿里巴巴数据库服务的诉求
  据乔红麟介绍,阿里数据库场景及服务诉求如下:场景分析与服务诉求是一一对应的。
  交易/支付型应用(OLTP)——持续的数据库稳定性/可用性要求。
  业务高速发展,数据库规模急剧增长——规模化运维能力,DBA专家服务具备良好的扩展性。
  数据规模大,业务负载变化常态化——持续主动优化,全局规模化优化,降低计算/存储成本。
  业务场景复杂,海量性能和运维数据——如何基于海量数据和学习实现自诊断自优化。
  业务热点(双11/双12/618)明显——极致的弹性伸缩和资源管理能力。
  智能数据库优化系统的思考
  传统数据库优化方式的局限包括:被动优化(监控/报警/慢SQL/应用报错等);优化过程耗时耗力且低效,较难形成闭环;优化结果受限于人的局限性;优化操作大规模复杂场景下缺乏扩展性;优化决策过程中数据价值缺失;DBA专家紧缺与数据库服务要求高效及时之间的矛盾越来越突出。

 乔红麟表示,智能数据库优化系统能够为我们带来多方面的价值:信息透明:向开发人员提供全面专业的数据库 信息分析和展示。自助化服务:全面专业的诊断优化建议,诊断流 程闭环,提供自助优化服务。自诊断、自优化:基于海量数据和机器学习的自诊断、自优化能力。降低成本:发现规模化优化点,优化资源管理,降低计算和存储成本。专家经验产品化:DBA专家优化经验转服务产品化,降低人工成本,提高服务质量和效率。主动优化:持续主动优化数据库性能,提高数据库稳定性。

CloudDBA关键技术
  CloudDBA——用户身边的数据库专家

 致力实现采集、分析、建议、采纳、跟踪、评估六大方面的优化闭环,真正的实现较少人工的参与,提高自动化调优水平。
  SOL优化——闭环

 SQL优化——流程

数据化——全量SQL采集计算
  全网SQL流水实时采集:AliSQL内核实现轻量级全部SQL流水采集(CPU cost< 5%);指标丰富;SQL文本,请求来源,用户信息,时延,逻辑读,物理读,锁等待时间等;秒级采集,秒级计算,秒级展示(整体延迟<5s);日常SQL实时采集计算量达到千万级SQL/s;CloudDBA诊断优化最重要的基础数据。
  数据化——全量SQL价值:开发人员自助查看全部SQL性能数据(信息透明);全局优化;基于SQL Workload优化;SQL健康度;关联分析;量化跟踪;性能热点分析;业务模型分析;SQL审计。
  智能数据库优化系统的探索
  自诊断——被动到主动:实时准确发现异常;自动关联分析定位异常原因;持续自适应算法优化;事后发现到事前预警;大规模场景具有扩展性。

×

打开微信扫一扫,分享到朋友圈