首页>会议文档 >

滴滴 许令波:统一资源调度平台建设实践

page:
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践
滴滴 许令波:统一资源调度平台建设实践

滴滴 许令波:统一资源调度平台建设实践

所属会议:SACC 2017第九届中国系统架构师大会会议地点:北京


下载

手机看
活动家APP客户端

扫二维码下载
或点击下载
Android iOS

7275次
浏览次数
SACC 2017第九届中国系统架构师大会所有文档 微软亚洲研究院 闫莺:构建企业级区块链生态 先声教育 秦龙:人工智能助力新时代K12教育 闲鱼 王树彬:闲鱼架构实践 小米 李波:小米生态云应用引擎实践 徐少杰:Event sourcing & CQRS 云徙科技 李元佳:企业互联网架构实践 长虹集团 孔帅:基于Hybrid的移动应用混合开发模式架构演变 中国信息通信研究院 徐恩庆:重点行业云计算标准体系和评估思路 中国移动 刘军卫:中移苏研存储产品化之路 优调科技 朱妤晴:技术前沿进展:系统自动化调优 转转 张相於:C2C市场中推荐系统的挑战与机遇 资深技术专家 占超群:迎接在线化与开放化分析时代 李珂:vivo大规模机器学习实践 刘歧:一个简单的直播服务引发的悲剧 毛大鹏:机器学习和未知样本检测 美团 付雅文:美团配送移动网关建设实战 美团外卖 刘宏伟:美团外卖自动化业务运维系统建设 魅族 段启智:Android多分支代码自动同步 摩拜李凯:摩拜开源技术的线上应用之路 蘑菇街 刘旭晖:大数据平台调度系统架构理论和实践 偶数科技 常雷:新一代数据仓库 去哪儿网 马文:基于Mesos Docker的Elasticsearch容器化私有云 上汽集团 李涛:站在云时代的路口 数美 关涛:实时大数据在风控中的实践 思必驰 张顺:可定制开发的语音交互技术 搜狗 张杰:前端测试质量的度量 搜狗 申贤强:分布式存储优化与离线混布弹性计算平台 搜狗语音 陈伟:搜狗智能语音之路 苏宁 黄宙:潜行狙击--业务安全大数据融合 苏宁易购 朱羿全:苏宁易购全站HTTPS实践之路 腾讯 涂远东:VR视频直播探索与创新 腾讯音乐 李深远:QQ音乐的个性化探索 腾讯音乐 罗静:全民K歌黑产对抗之路 腾讯 谭国富:深度学习在图像审核的应用 天云大数据 李从武:人工智能驱动Fintech 同盾科技 张新波:拥抱金融科技的几个误区 王苹:荣之联大数据平台的应用实践 苏宁云商 王一硼:移动端统一接入层 网易 孙建良:网易新一代对象存储引擎 阿里巴巴 江文斐:窄带高清,打造新优酷极致体验 阿里巴巴 金吉祥:万亿级数据洪峰下的消息引擎 阿里巴巴 蔡龙军:面向未来的泛内容AI平台建设实践 阿里巴巴 何源:阿里网络故障智能化治理 阿里巴巴 默燧:移动端图像加载优化与增强 阿里人工智能实验室 王天舟:语音识别技术回顾及应用 爱奇艺 张超:爱奇艺广告大数据实践 百度外卖 梁福坤:基于Druid的大数据采集即计算实践 腾讯云 陈龙:云+时代大数据平台应用方案 滴滴 王海:滴滴移动端基础架构的演进与探索 滴滴研究院 李秀林:智能交互 美好出行 第四范式 程晓澄:机器学习在推荐系统中的应用 瓜子二手车 彭超:瓜子云的落地 为胜科技 郭宏泽:基于容器的持续集成平台建设 海纳云 邹均:区块链与数据时代 慧川智能 刘曦:ImageNet挑战赛之后的计算机视觉新征程_IT168文库 姜凤波:全用户态服务开发套件F-Stack 金山云 郝明非:H.265在视频直播场景下的应用演进 锦佰安 冯继强:AI领域的人机识别对抗 千亿美金的验证码 京东 高新刚:京东金融数据库多场景架构实践 京东 丁俊:京东分布式K-V存储设计与挑战 京东 桂创华:京东图片系统演进 京东搜索 尹德位:京东亿级流量海量数据搜索架构 京东云 张成远:云时代的数据库演变之路 京东云 朱凌:京东云为企业提供智能化之路 VMware 张海宁:使用Kubernetes部署超级账本Fabric 58同城 沈剑:58速运数据库降压优化实践 360 李东亮:云端图像技术的深度学习模型与应用 360 陈宗志:大容量redis存储方案--Pika AWS 薛峰:云平台计算服务进化之路 INT基金会 项若飞:INTchain在大宗商品物流应用的架构探讨 Qunar 黄勇:去哪网数据库架构发展历程

文档介绍

目前大部分工作都在建设私有云,需要将物理资源进行统一的抽象要么进行虚拟化要么进行容器化,一般分为两个阶段:一是实现物理资源的虚拟化(即资源的抽象),将物理机分割成更小单位的虚拟机可以显著提升机器的利用效率,实现存储计算分离以及在离线混部等;二是将资源虚拟化后进一步实现编排更细粒度在时间和空间上优化资源的使用,进而实现自动化运维、弹性伸缩以及故障自愈等。本次演讲将深入介绍滴滴搭建统一资源调度平台的关键技术实践方案以及在建设过程中遇到的典型问题分析 听众收益 1. 可以了解滴滴场景下物理资源调度技术的选型思考以及容器技术的选择方案 2. 滴滴的统一资源调度平台的系统架构与最佳实践案例 3. mesos、docker、lxc以及lxcfs等开源技术的应用中遇到的疑难问题分享

演讲实录

在SACC2017《统一资源调度平台建设实践》演讲中,深入介绍滴滴搭建统一资源调度平台的关键技术实践方案以及在建设过程中遇到的典型问题分析。介绍滴滴场景下物理资源调度技术的选型思考以及容器技术的选择方案;2以及滴滴的统一资源调度平台的系统架构与最佳实践案例;此外,围绕mesos、docker、lxc 以及 lxcfs 等开源技术的应用中遇到的疑难问题分享。

  许令波在演讲中提到,大部分工作都在设私有云,需要将物理资源进行统一的抽象要么进行虚拟化要么进行容器化,一般分为两个阶段:一是实现物理资源的虚拟化(即资源的抽象),将物理机分割成更小单位的虚拟机可以显著提升机器的利用效率,实现存储计算分离以及在离线混部等;二是将资源虚拟化后进一步实现编排更细粒度在时间和空间上优化资源的使用,进而实现自动化运维、弹性伸缩以及故障自愈等。

  关于资源调度,一般分为两个阶段:虚拟化(即资源的抽象):虚拟机或容器技术来隔离资源;编排:更细粒度在时间和空间上优化资源的使用。

  在硬件资源配置方面,从物理机迁入oceanbank,一台GIFT-PROXY可省:22核,120G内存。一台GIFT-FS可省9核CPU,40G内存。

  节约成本统计:53台GIFT-PROXY共节约1166核,6360G内存。62台GIFT-FS共节约558核,2480G内存。全部共:1724核,8840G内存。折算成物理机共省下约:71台(节省了约一半的机器)M10物理机机型。

  许令波介绍,所谓抽象资源实质是对具体物理资源的收集和管理。包括虚拟化、数据持久化两个层面。

 虚拟化:将抽象的硬件资源属性进行重新封装,封装成上层可以使用的一个实体,可以是容器也可以是虚拟机或者一个资源集合。

  数据持久化:业务少不了会有数据存储在本机,这样就会把机器变成有状态,不利于对资源的全局调度,所以有三种种场景需要解决:一是不需要永久本地存储但是会实时写到本地如应用的日志;二是需要永久存储如DB。三是分布式存储场景,做到存储与计算分离

  许令波表示,如果想在容器中获取正确Loadavg信息的那么就要具备以下几点:获取运行在容器中的所有进程(包括:线程);获取运行在容器中的进程总数;获取运行在容器中的所有进程运行状态;Loadavg计算公式;难点是如何控制性能消耗;控制对进程信息获取的系统调用。而大数据接入方面,直接提供容器as vm给大数据使用,将yarn部署在容器里,在离线混部需要考虑磁盘的存储容量问题,对资源动态调度支持。

×

打开微信扫一扫,分享到朋友圈