首页>会议文档 >

为胜科技 郭宏泽 - 全开源架构DevOps实践

page:
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践
为胜科技 郭宏泽 - 全开源架构DevOps实践

为胜科技 郭宏泽 - 全开源架构DevOps实践

所属会议: 2017 OpenStack Days China会议地点:北京


下载

手机看
活动家APP客户端

扫二维码下载
或点击下载
Android iOS

816次
浏览次数

文档介绍

首先简单快速来聊一下我对DevOps的理解可能我们今天的分享都会有这个环节,大体来聊一下我们对DevOps的理解。其实我也听过很多分享,也看过很多DevOps的书,大体上的框架都是一样的,但是可能各自的表达略有不同。

演讲实录

很高兴在这里跟大家做一次分享,我这次分享题目是全开源架构下DevOps的实践。

在最近几年DevOps比较火比较流行,我在这两年里也是,有很多项目我们去学习DevOps,在项目里面实践DevOps,去总结了一些经验,借着今天这个机会跟大家分享一下,跟大家交流一下。

首先简单快速来聊一下我对DevOps的理解可能我们今天的分享都会有这个环节,大体来聊一下我们对DevOps的理解。其实我也听过很多分享,也看过很多DevOps的书,大体上的框架都是一样的,但是可能各自的表达略有不同。

我对DevOps的理解是这样的,分几个环节,概念环节、流程环节、工具环节和目标环节。我们在DevOps理解上,首先是在概念方面,我们去做一件事的时候先要知道这件事是什么,为什么去做它,做它有什么意义,有什么好处。只有我们完全真正理解DevOps到底是什么的时候,我们去做的时候才会知道在哪里动手,知道怎么样做,知道自己在干什么,这样我们做的会产生一种极高的效率。

我们在理解的时候,首先在概念方面,DevOps是一种思想,是在我们软件开发生产实践过程中产生的一种思想,这种思想是经过我们漫长的开发过程来历练出来、提取出来的一种极致效率的,来解决我们在开发过程中遇到问题的这么一种新的思想,形成我们的方法论,最后通过实践来落地,最终我们的团队里形成一种DevOps文化。

我们在DevOps的实践过程中有个很重要的,就是在团队中形成DevOps文化,这种DevOps文化的形成要大于我们对DevOps工具的应用,因为工具可以变可以换,但是这种文化如果没有形成,空有工具产生不了很大的效果。

我们在流程上也是,DevOps对流程改造是巨大的,DevOps落地的情况下,我们对原来很多的流程过程都要进行改变,都要进行优化,冗余的要缩减,时间长的要压缩,不应该有的要删掉,缺失的要补上。

在流程里要涉及四个方面,开发、测试、运维,这是我们常常说的,另外一个是管理,管理很重要,管理是什么,让领导参与进来,参与到我们整个的DevOps流程制定,还有DevOps目标实现这个过程中,领导不能说我只负领导责任,别的具体都不管,一句话就完了,这不行。

这种在传统公司可能会出现为了管理而管理出现的情况,但是我们DevOps真正落地的创业公司、互联网公司没有这个事,所有的责任大家都要一起来扛,管理必须参加进去,如果管理没有参加进去,DevOps落地比较难。

我们有一系列的代码管理的工具,持续集成的,自动化测试或者部署的,有很多工具。最终我们要在实施DevOps之前想清楚一件事,我们为了什么来实施DevOps,把这个弄清楚了,可能我们的切入口就好办一些,我们就为了实现生产力的提高,快速交付,保证生产环境的稳定、安全,降低成本。这四个目标加在一起是非常难的。

在组织方面,以我的实践来说,我在公司的DevOps团队组织方面,我建议按照我们传统里面理解的产品线这种方式来进行DevOps团队的组织,这样整个的效果会好一些,大家在一个团队里来共扛KPI,对于所有的质量都是共扛的。

但是我们在实践过程中,可能部门是不拆的,部门还有,开发、测试、运维还有,但是部门的人进行虚拟的划分,划分到一个产品线里。我的经验是产品线的考核占70%,30%的考核还是传统部门那些任务的考核,这个各公司有自己的实际情况,可以根据自己的实际情况来做一下。

我们在每个产品线里都有自己产品线项目的领导,大家都在一个船上了,这个产品成,大家都拿钱,败,大家都扣钱。

成熟度模型,这个是给大家的一个参考,这里面的这些要求,我们通过成熟度模型,拿着成熟度模型来衡量我们公司目前处于的系统状态,系统是处于原始阶段还是在可优化阶段还是在某一个阶段。

在每个阶段,它在某一个环节里体现的现象是不一样的,比如在环境和部署阶段,在测试阶段,我有没有进行自动化测试,通过这一系列的考核来发现自己企业和公司的短板到底在哪里,我现在处于一个什么样的状态,这样我们才有一个切入的点。

如果你想直接一下落地整个DevOps的生产线是很难的,所以你必须要找一个点,我在哪一个点上发力突破,用我公司有限的人力和资源,把这个点做好,再做下一个点,这样以点带面,最终形成DevOps的落地。

我们引入DevOps以后,其实我们要来跟以前比较,要考量要评估,也就是说我们在引入DevOps以后,看看我们历史的趋势。

我们在第一个,在瀑布流开发的时候,我们只看重点,我们看在瀑布流的时候,我们看时间占比是47%,一个软件整个组织过程中所有的时间,开发的时间只占了47%,其他时间都干吗了?设计占了25%,测试占了15%,我的部署占了13%,我们在瀑布流的时候,这种大的规划细化,整个开发时间占比比较少,开发人员始终在等着前面产品经理、项目经理、架构师等等。

我要把这些事都弄清楚了,都考虑了再开发,结果开发以后,经过很长时间的开发,N多功能一起来进行集成测试的时候,发现各种各样的问题,这样导致我们开发的节奏比较慢。

后来我们通过敏捷的实施,小步快跑,通过每一个周期,这种周期变快了,有问题能快速解决。但是Scrum有一个问题,没有考虑交付的问题,只有开发,形成一些迭代周期,只考虑开发了,后面交付以前一直被我们忽视。

所以当我们时代变到我们现在云计算时代了,基础设施的部署上线能力已经很快了。我们到敏捷的时候,对于环境部署还有交付这些的要求变得非常高。所以我们迫切需要一个新的理论来解决这个问题,我们通过DevOps的实施,将我们原来敏捷里没有解决的这些问题,把它解决掉,部署的问题。

总结一下整个软件的发展过程,从瀑布流到敏捷到DevOps,应用架构是从大而全的架构到SOV的架构再到现在微服务的架构。在运维技术的方面,通过原来的命令行、脚本到后来我们用Python进行大规模的运维工具的开发,到现在我们进行平台化的开发。

我们现在在实施DevOps的时候,要解决一系列的问题,基础设施的问题,中间件应用还有服务的问题,把所有一切的在四重环境。我们的研发测试、生产环境上全部自动化,让它run起来,只有在需要我们控制和暂停的地方才暂停,其他的全部可查询、可回滚。

我们对DevOps进行了一个定义,我们通过这个定义来分析我们公司在哪块来做这件事,我们的定义是这样的,我们公司现在源码管理做得好不好,我们的持续集成做没做,我们有没有自动化测试环节,我们来持续部署。

我去年给一个很大的国家机构做了一次DevOps的咨询,我去的时候他们在做什么,他们在测试环境到生产环境去上线的时候用U盘拷,把这个包拷过来,交给那个工程师,他再插到哪个服务器上。

他们这样的环节特别多,每到一个环节里去都要很长时间才能把环境运行起来。经常出错,每一次升级的时候都非常困难,二三十个工程师或者是更多的工程师,靠到晚上多少点,然后第二天早晨熬到几点。后来我们经过一系列的变革,我们所有的升级全都是在白天做,没有问题。

我们到源码管理这块来考量什么问题,就是我们的源码管理够不够先进,我们有没有源码管理,如果没有我们马上要上源码管理了,现在仍然有公司用文件夹来管理。

我们在源码管理里,我们在DevOps里,我们推荐用GIT的生态体系来管理我们的源码。这里也涉及整个团队Git的学习,构建Git的私有库,通过Gitlab。还有Gitflow、CR,整个过程run起来以后,每一个环节都是很流畅的,而且这个环节是我们历练出来以后它必须的环节。

剩下的我们代码管理用什么流程的管理,这个很重要,用Git以后会发现什么问题,Git过于灵活,到底用什么流程来控制我的代码。我们主要有三种方式,githubflow是最简单的是,直接开一个主干,开一个Master,我把Master克隆到本地,我在开发功能的时候,我创建一个功能的分支。从Master创建克隆到本地,开一个分支,开发完了推上去。如果再有人需要,再把它默认到本地,再合并到自己分支里去。这种比较适合大家都对Git比较熟,整个团队里面对Git用得还不错,几个人的效率也比较高,所以没有必要搞那么多花样去限制自己的效率。但是稍微大点的团队可能又要考虑了,这种有点不太合适了。

下面我们考虑Gitlabflow,在刚才那个基础上,建了几个分支,建了Master分支、预生产分支和生产分支,每次开发完之后,到预生产环境,他把它放到预生产那,如果到生产,再把它默认到生产那。是为了解决什么问题。

比如说我们发一个苹果,你在底下都测试好了,但是苹果想要上线需要很长时间,你上不去,你又不能老在测试环境呆着,所以你要建一个生产分支,把它放那,因为我已经开发完了,它在生产分支上堆着,堆了好几个生产分支的版本,是因为审核没有过。

Git flow是一个比较严格的Git的流程。Master只放线上生产的代码,所有的开发都从Dev的分支上开发,如果出现bug,现场修bug,再合并回去。整个Gitlab也是被业界最为接受的一个开发过程。像Jira、SourceTree这些都内置了对于Gitlab的支持。

我们对自动化测试的要求是,我们从传统上不怎么做单测,接口测做,转换到我们做TDD,做单元,必须做单元测试,接口测,最小化的UI测,等到UI测的时候其实没有问题了,后端的BUG都已经处理完了。我们整个的单元测的要求覆盖率是要求达到70%。剩下我们还要做到一些代码的style的控制。

我画了一个简单的图,持续部署。对于整个的运维环境里,现在在我们生产里面,底层所有的账号是通过LDAP打通的,所有的运营环境没有暴露在公网上的,运维系统变得越来越重要,运维系统被黑,整个生产系统就被黑了。这是持续部署简单的逻辑图。

我们的工作通过DevOps组织起来之后,最终我们形成一个循环,我们始终在这种周而复始的循环中进行我们的管理和工作。我们让这个循环run的平滑流畅,整个过程中我们工程师会亲送一些。我们这些运维工程师要去承担更大的任务,去开发公司的一些基础性运维管理的平台,让我整个公司系统运行得更加强壮。

谷歌的SRE,SRE的要求是什么,一个运营工程师应该50%的时间是在自己的日常任务中的,50%的时间是在写代码、在维护自己的运维平台的,这是一种理想的状态。做不到这样的状态,我们也不能把100%的时间都放在处理故障上,这种团队是没有成长的,这种团队整个的气氛也会很差,工作压力太大,大家都在一种恶性的环境中来工作。所以我们作为工程师,为自己也好,为别人也好,要把环境改变,让自己的工作环境变得良好。

DevOps一个发布流大概是这样的,我们在GOPS上还会发布一个更强壮的版本。我们开发工程师把代码提交上来以后,出发生产build,通过Maven,包括单元测,没有问题都通过以后,我们可以对测试团队进行提测,通过冒烟,那些基本的测试要做一下,但是不会所有的都回归。

到我的预发布环境,再到我的正式发布,通过灰度的方式来逐步将线上的集群把它发布,是这么一个流程。所以我们整个的过程做了很大的简化,这里面有很多的工具和来控制我们的过程。

这是我用到的工具,这里面大家很多都耳熟能详。我们用Git来做版本管理,SaltStack来做开发的PC端的版本管理,用Jenkins做编译和持续集成,用ansible、Puppet来做配置管理、环境管理,用JMeter做压力测试,底层可能是公有云、私有云,日志用ELK,我们用Docker来做持续集成的小平台等等。

这是Gitlab的一个截图,整个项目里有746个库,有371个开发人员,这是当时我在这个项目的时候,37个团队,这里面每天各种任务或者push,这都是上万次的任务。

这是Jenkins的界面,我们有几十个产品、APP等等,这是个整合测试,我们将JMeter整合到Jenkins这边来了。

DNS系统有个泛域名是指到Nginx上去的,每当提交一次项目,会直接发个邮件给相关的开发和测试人员那边去,测试人员通过域名就可以访问这个项目,进行相关的测试,这是我们自己写的一个容器平台。

CMDB每个公司应该都是需要的,我在不同的公司做了不少这样的项目,但是没有一个能够开源的,为什么,因为和系统耦合度过高。

今年春节的时候我闲着在家没事,写了一个开源的CMDB,功能大部分都有,但是如果自己用的话,根据我这个基准大家可以调一下,如果有公司没有CMDB,可以把这个用下去,因为你好多基础的工作可以不用做了,包括一些基础信息的配置。

这是一个导航界面,我做这个是要把我们说话的平台做一个入口,这个很简单。

这是一个CMDB的界面,这里面我们CMDB的基础功能都有,也会有自动录入的功能,我们有一个脚本直接在目标机器上执行之下,它就会把信息自动上报到CMDB里,有直接来导入的API的接口。

我还写了一个任务编排,当然这个任务编排还没写完,目前只支持推送任务。我和ansible来进行一个结合,我把CMDB里面的信息,我在这可以做一个下拉的选择,我在选择安装什么样的,一点执行直接就推到目标机器上去了。也做审核,所有的任务都在后台的日志打出来了。还有个shell的执行,和这个类似。

这是开源的,叫做AdminSet,在github上已经公开了。

×

打开微信扫一扫,分享到朋友圈