首页>会议文档 >

爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路

page:
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路
爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路

爱奇艺 刘俊晖 - 爱奇艺大数据平台的构建之路

所属会议:SACC2016 (第八届)中国系统架构师大会会议地点:北京


下载

手机看
活动家APP客户端

扫二维码下载
或点击下载
Android iOS

6183次
浏览次数
SACC2016 (第八届)中国系统架构师大会所有文档 开九易云拓 朱龙春 - 互联网对传统企业应用架构冲击和机遇 淘宝 郑士汉 - Weex架构简介和性能优化实战 周亚金 - 安卓应用保护技术发展 小米电视工程师朱辉 - ZRAM那点事pdf 小米 朱辉 - 支持任意数量watchpoin的建议 学而思 赵文杰 - 交互式直播推流编码器的设计 搜狗 甄丽霞 - 基于Kafka-spark streaming的数据处理系统及测试 蚂蚁金服 郑波 - 网商银行金融云的架构之路 饿了么 徐巍 - 饿了么基础设施进化史 光载无限 许开强 - CDN直播系统的优化 搜狗 杨剑飞 - 统一数据平台的实践及思考 网易蜂巢 尧飘海 - 网易蜂巢公有容器云架构之路 超多维 郁树达 - 前进的路上,VR有哪些绕不开的坑 美团点评 喻继鹏 - 互联网行业财务系统架构探讨 阅文集团 徐海峰 - 阅文集团自主分布式文件系统 哈尔滨银行 姜岩 - 运维架构调整与运维工厂模式的建立 百度 张建伟 - 百度大数据离线计算平台流式shuffle服务 深圳瑞赛 张平 - 专业化的风控服务平台的技术架构及实践 魔窗 张申竣 - 创业公司的大数据平台选型和进化 去哪儿网 张子天 - Spider-QunarAndroid客户端架构的前世今生 蜗牛云 赵刚 - 京东VRAR实验室在电商VR中的实践 云计算公司技术专家赵伟 - 负载均衡利器HAProxy功能剖析及部署案例 中国移动 王烨 - 中国移动私有云管理平台架构和实践 优酷土豆 宋慎义 - 为全民直播量身定做流媒体平台 Linkedin China Engineer Supervisor魏佳 - 图数据库Neo4J的实践之路 美图 魏家富 - 美图公司运维自动化系统架构设计 阿里巴巴 郝豪 - 阿里Android instant run探索与实践 美团外卖 夏华夏 - 架构师的三个基本要求 爱奇艺 谢丹铭 - 爱奇艺业务风控系统 爱奇艺 刘文峰 - 爱奇艺云架构实践优化 易到用车 刘宇 - PHP高性能服务框架架构与实践 网易 刘长伟 - 网易蜂巢Docker研发实践 刘喆 - 大数据时代AdMaster的运维架构 去哪儿网 路绪清 - 基于大数据的消费信贷平台 中国移动 罗刚毅 - 中国移动异构虚拟化平台统一管理研发与实践 优酷土豆 吕红亮 - 视频精准推荐系统实践 小米VR团队马坤 - VR技术与展望 资深云计算架构师马耀泉 - 云计算的高可用实践探索与分享 袋鼠云 宁海元 - 企业级云数据库管控架构设计与实践 汽车之家 欧阳梦南 - 汽车之家移动APP架构演进与性能优化历程 光载无限 欧曜伟 - 光载无限监控体系的变革与演进 阿里巴巴 袁冶平 - 阿里大数据平台发布管理体系 Hyper.sh 裴彤 - 基于 hyper 容器技术的新一代容器云 58到家 任桃术 - 58到家分布式服务框架 阿里巴巴 桑毅宏 - 互联网公司骨干网规划构 上汽集团 龚瀚申 - 上汽集团基于容器技术的尝试实践 滴滴出行 盛克华 - 滴滴高性能列式KV存储系统实践 京东 寿如阳 - 京东虚假交易识别系统 信泰人寿 章晨曦 - 数据分发平台的架构设计与实践 爱可生 王伟 - 数据之大,云动未来——传统企业从IT到DT的互联网创新最佳实践 上交所 孙长昊 - 上交所基于容器技术的微服务架构技术实践 魅族 覃军 - 魅族基础系统运维之路示 美团 唐义哲 - 美团业务风控系统构建经验 腾讯 程彬 - 腾讯云数据库CDB技术演进之路 一点资讯 王成光 - 轻量级分布式实时计算框架light_drtc 京东 王大泳 - 京东数据中心网络监控实践 农银 王福强 - 农银人寿新一代核心业务系统云平台实践题 Intel 王华峰、毛玮、张天伦 - 分布式流式数据处理框架:功能对比以及性能评估 时速云 王磊 - 容器云平台在企业中的运维管理和场景实践 达乎科技 王茜 - SDN对传统网络的变革和价值提升 搜狐视频 李修鹏 - 搜狐视频个性化推荐架构设计和实践 北京邮电大学 李昕 - SDN向左,WAN向右 蜗牛云 李晨光 - VR沉浸式视频在移动平台的优化技术分析 武汉泰迪智慧科技 李成华 - 深度学习在自然语言中的应用 华胜信泰 李海翔 - 数据库引擎技术架构 360 李纪峰 - 云平台安全架构剖析 蚂蚁金服 李三红 - Java企业应用-性能优化原则,方法与策略 拍拍贷 徐王锦 - 金融行业数据库架构变迁 京东 杨海明 - 京东云的架构实践之路 神策数据 曹犟 - 从日志统计到大数据分析 饿了么 常盛 - 饿了么实时架构演进 DBI 常艳玲 - 架构师现状调查报告解读 日志易 陈军 - IT运维分析与海量日志搜索分析 华为 陈亮 - Apache CarbonData,实现大数据即席查询秒级响应 百度外卖 师陈霖 - 百度外卖服务化实战 腾讯微信 陈晓鹏 - 微信运维实时监控数据上报及存储设计实践 雪球 单艳蕾 - 雪球运维架构体系探索 证券 董国兴 - 传统金融行业企业架构创新与实践 腾御安 樊付强 - GNU工具链里的漏洞利用缓解技术 国家工商总局 付宏伟 - 工商数据中心架构创新之路 七牛云 何李石 - 七牛融合CDN实践 宜信 侯松 - 大数据全流程平台在互联网金融场景下的实现和借鉴意义 饿了么 张雪峰 - 架构师需要面对的两个【架构】 Apache HAWQ 简丽荣 - 数据仓库架构的变迁

文档介绍

随着爱奇艺从视频新秀跃居视频行业之首,目前在移动端已拥有3.1亿月用户数(仅次于微信和手机QQ),巨大的数据增速迫使我们的大数据平台快速迭代。在平台开发层面,除了实现海量日志的实时采集、异构数据源的管理及同步、统一作业提交和工作流管理之外,还提供额外的开发部署及调试工具,并提供经过优化的算法与工具库,往往使得业务实现能有数倍的性能提升;成本优化方面,我们通过YARN建立几个大资源池,实现了离线和实时资源的共享,通过源码级别的调优最大化资源使用率,大大节省成本,并向Apache贡献了50+个patch;另外在运维方面,实现了一套QoS系统,精准采集了数百个更细致的指标,可以做到更精准的监控和问题定位,并在部分场景下实现自动化运维。本次演讲将分享我们在大数据平台的构建路线和实践经验,与大家探讨交流。

演讲实录

中国系统架构师大会的第一天下午,我们迎来了主题为“大数据平台架构及应用实践”的专场,今天下午的第四位演讲嘉宾是爱奇艺云平台技术总监刘俊晖,他演讲的题目是《爱奇艺大数据平台的构建之路》。

爱奇艺大数据平台的挑战
  随着爱奇艺从视频新秀跃居视频行业之首,目前在移动端已拥有3.1亿月用户数(仅次于微信和手机QQ),巨大的数据增速迫使我们的大数据平台快速迭代。

 在平台开发层面,除了实现海量日志的实时采集、异构数据源的管理及同步、统一作业提交和工作流管理之外,还提供额外的开发部署及调试工具,并提供经过优化的算法与工具库,往往使得业务实现能有数倍的性能提升。

 成本优化方面,爱奇艺通过YARN建立几个大资源池,实现了离线和实时资源的共享,通过源码级别的调优最大化资源使用率,大大节省成本,并向Apache贡献了50+个patch;另外在运维方面,实现了一套QoS系统,精准采集了数百个更细致的指标,可以做到更精准的监控和问题定位,并在部分场景下实现自动化运维。
  平台的构建之路
  1.0专业化:专人做专事、规范化

2.0规模化:技术深入、突破规模瓶颈

 每一层都要考虑高可用,如果简单分为云平台和业务两层的话,在云平台层面,从数据中心建设(双电、UPS、多DC),到数据库(MHA、NoSQL集群方案),到中间件(消息系统、RPC服务框架),再到访问层(DNS、LVS负载均衡)等,都尽力做到一定程度的高可用。

3.0生态化:平台、工具链、易用性
  谈到可扩展方面,这里有两层含义,一个是容量规划上的可扩展,一个是动态可扩展。前者是一个基础,基本上架构的每一层都要考虑到业务发展迅猛甚至井喷的时候,是否能够做到水平扩展,只要添加机器就可以了?而后者是一个更大的挑战,动态可扩展,也是就说具备了伸缩性,前提就是有一个资源池 (比如爱奇艺有基于Mesos和YARN的资源池),可以调度不同计算类型的任务,支持弹性伸缩,这个对于成本节省和抗突发流量是非常有帮助的。
  爱奇艺大数据平台架构
 其实当我们谈架构的时候,往往已经是在面对一个比较复杂的分布式系统,分布式系统有着CAP和BASE等经典理论,引申出高可用、可扩展、一致性、性能等特点,而衡量一个分布式系统的架构是否成功,则取决于业务需求,对于支付系统来说,一致性是最高标准,而相对于视频播放服务,高可用和性能则更为重要。对于大部分架构来说,最终一致性已经足够,而高可用和可扩展往往是互联网架构的首要考虑因素。
  刘老师认为随着云时代的到来,对于云平台架构的采用,无论是私有云还是公有云模式,都将成为所有公司一种必然的发展趋势。资源的集中和人才的集中,有利于云平台技术的发展和对新硬件技术的应用,也有利于业务聚焦在自己的核心逻辑开发上,应该积极拥抱云。

×

打开微信扫一扫,分享到朋友圈