目前大部分工作都在建设私有云,需要将物理资源进行统一的抽象要么进行虚拟化要么进行容器化,一般分为两个阶段:一是实现物理资源的虚拟化(即资源的抽象),将物理机分割成更小单位的虚拟机可以显著提升机器的利用效率,实现存储计算分离以及在离线混部等;二是将资源虚拟化后进一步实现编排更细粒度在时间和空间上优化资源的使用,进而实现自动化运维、弹性伸缩以及故障自愈等。本次演讲将深入介绍滴滴搭建统一资源调度平台的关键技术实践方案以及在建设过程中遇到的典型问题分析 听众收益 1. 可以了解滴滴场景下物理资源调度技术的选型思考以及容器技术的选择方案 2. 滴滴的统一资源调度平台的系统架构与最佳实践案例 3. mesos、docker、lxc以及lxcfs等开源技术的应用中遇到的疑难问题分享
在SACC2017《统一资源调度平台建设实践》演讲中,深入介绍滴滴搭建统一资源调度平台的关键技术实践方案以及在建设过程中遇到的典型问题分析。介绍滴滴场景下物理资源调度技术的选型思考以及容器技术的选择方案;2以及滴滴的统一资源调度平台的系统架构与最佳实践案例;此外,围绕mesos、docker、lxc 以及 lxcfs 等开源技术的应用中遇到的疑难问题分享。
许令波在演讲中提到,大部分工作都在设私有云,需要将物理资源进行统一的抽象要么进行虚拟化要么进行容器化,一般分为两个阶段:一是实现物理资源的虚拟化(即资源的抽象),将物理机分割成更小单位的虚拟机可以显著提升机器的利用效率,实现存储计算分离以及在离线混部等;二是将资源虚拟化后进一步实现编排更细粒度在时间和空间上优化资源的使用,进而实现自动化运维、弹性伸缩以及故障自愈等。
关于资源调度,一般分为两个阶段:虚拟化(即资源的抽象):虚拟机或容器技术来隔离资源;编排:更细粒度在时间和空间上优化资源的使用。
在硬件资源配置方面,从物理机迁入oceanbank,一台GIFT-PROXY可省:22核,120G内存。一台GIFT-FS可省9核CPU,40G内存。
节约成本统计:53台GIFT-PROXY共节约1166核,6360G内存。62台GIFT-FS共节约558核,2480G内存。全部共:1724核,8840G内存。折算成物理机共省下约:71台(节省了约一半的机器)M10物理机机型。
许令波介绍,所谓抽象资源实质是对具体物理资源的收集和管理。包括虚拟化、数据持久化两个层面。
虚拟化:将抽象的硬件资源属性进行重新封装,封装成上层可以使用的一个实体,可以是容器也可以是虚拟机或者一个资源集合。
数据持久化:业务少不了会有数据存储在本机,这样就会把机器变成有状态,不利于对资源的全局调度,所以有三种种场景需要解决:一是不需要永久本地存储但是会实时写到本地如应用的日志;二是需要永久存储如DB。三是分布式存储场景,做到存储与计算分离
许令波表示,如果想在容器中获取正确Loadavg信息的那么就要具备以下几点:获取运行在容器中的所有进程(包括:线程);获取运行在容器中的进程总数;获取运行在容器中的所有进程运行状态;Loadavg计算公式;难点是如何控制性能消耗;控制对进程信息获取的系统调用。而大数据接入方面,直接提供容器as vm给大数据使用,将yarn部署在容器里,在离线混部需要考虑磁盘的存储容量问题,对资源动态调度支持。
浏览5268次
浏览9837次
浏览3276次
浏览4222次
浏览7663次
浏览1642次
2025-06-20 深圳
2025-04-19 南京
2025-08-15 上海
2025-10-23 上海
打开微信扫一扫,分享到朋友圈