.png)
|
商务会议 | 会议PPT | 培训课程 | 发布活动 | 订单查询 | 登录 |
会议PPT
大数据平台的建设过程中，作业调度系统的建设往往是重中之重。本次分享主要谈谈业界主流的调度系统的场景定位，思想流派，设计目标和各自的优缺点，并结合我司自研Jarvis调度系统两年多来的思考和实践经验，和大家一起探讨一下一个以易用性和可维护性为导向的作业调度系统，应该如何规划它产品功能定位。
本次SACC 2017大会上刘旭晖的演讲主题是《大数据平台调度系统架构理论和实践》。在大数据平台的建设过程中，作业调度系统的建设往往是重中之重。本次的分享主要是关于业界主流的调度系统的场景定位、思想流派、设计目标各自的优缺点。结合蘑菇街自研Jarvis调度系统，刘旭晖还会与大家共同探讨易用性、可维护性的作业调度系统的产品功能规划及定位。
蘑菇街自研Jarvis调度系统，优势在哪里?
谈及蘑菇街自研的Jarvis调度系统的初衷，刘旭晖表示主要包括功能优化和系统环境应用两个方面。
从功能优化角度来看，刘旭晖认为，在系统整体的运维、发布、升级，作业的配置、变更、管理，任务的监控报警，业务多租户环境的隔离，系统负载的均衡和流控等方面，目前市面上的调度系统主要面临两大现状，第一是功能完全空白，第二是这些系统只简单的提供任务DAG关系调度这一核心功能。
从系统应用环境来看，任何调度系统都很难脱离环境。这是因为它各自的业务诉求不尽相同，面对的应用场景也会千变万化。
而蘑菇街自研的Jarvis调度系统，除了提供标准的DAG调度作业工作流的支持，还实现了包括实时动态计划变更、复杂不等周期依赖关系的支持。另外，分组优先级控制和业务并发度流控，规则化的作业灰度调度能力，作业错误原因专家诊断分析，REST和RPC服务，以及作业状态变更消息通知等服务也包含在内。而且相比于其他作业调度系统，自研的Jarvis调度系统更适应蘑菇街的应用环境，可以更好的实现系统的优化。
蘑菇街平台建设围绕四个现代化
很多人都好奇蘑菇街技术团队是如何展开工作的?关于这个问题，刘旭晖表示，蘑菇街大数据平台的技术团队按照集群、开发平台、终端产品三个维度来组织团队开发工作。他认为，技术只是手段，最后的产品价值才是目标。
据刘旭晖透露，蘑菇街近几年在数据模型建设方面的最大变化就是逐步加强了事前的规划和事中的反馈控制环节，整体链路也逐渐变得透明化，可控性也得到加强。可持续改进性与公司的规模和业务环境逐渐相适配，已成为蘑菇街这两年的工作重点。
刘旭晖认为，蘑菇街在不断优化的过程中，面临的最大问题是产品的价值和人员的投入产出效益问题。蘑菇街平台的建设思路主要是四个现代化：工具化、平台化、服务化、产品化。他表示，所有的项目和工作的出发点都会围绕这几个现代化目标来建设，虽然过程曲折，但他对蘑菇街今后进一步的发展有信心。
此外，如想了解更多关于系统产品的形态和解决思路，可以查看刘旭晖的微信公众号“大数据务虚杂谈”。
对大数据和“云智未来”的理解
对SACC 2017的主题“云智未来”，刘旭晖有自己理解。他认为，提高工作效率，让之前无法完成的事情成为可能、让复杂变得简单才是大数据的核心，而“云智未来”的含义就是通过各种智能以及非智能的产品和服务的构建提高人的工作效率。
最后，刘旭晖对大数据开发初学者提出了几点自己意见。他建议，在学习早期不要贪多，初学者应该针对每一个应用场景都深入的了解相关技术，由一个点向外扩展知识面，最重要的一点是务必阅读第一手资料而非二手百度来的信息。
浏览5217次
浏览9799次
浏览3262次
浏览4208次
浏览7642次
浏览1597次
2025-01-08 昆明
2025-04-19 南京
2024-12-27 上海
2025-10-23 上海
打开微信扫一扫，分享到朋友圈
