首页>会议文档 >

袁进辉 - 深度学习平台技术演进

page:
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进
袁进辉 - 深度学习平台技术演进

袁进辉 - 深度学习平台技术演进

所属会议:GIAC 2017全球互联网架构大会会议地点:上海


下载

手机看
活动家APP客户端

扫二维码下载
或点击下载
Android iOS

8534次
浏览次数
GIAC 2017全球互联网架构大会所有文档 毛茂德-阿里智能运维平台如何助力研发应对双11挑战_部分1 毛茂德-阿里智能运维平台如何助力研发应对双11挑战_部分2 jolestar 王渊命-如何利用+Kubernetes+建设+AI+时代的+DevOps+平台 曾勇 - Elastic Stack- Past, Present, & Future 滴滴出行 梁李印 - 滴滴实时计算平台架构与实践 董西成 - PB级Hadoop集群跨机房迁移实战 刘洋(炎寻) - 蘑菇街作业调度系统Jarvis的架构与实现 hai lu - 领英对实时流计算的应用和探索 洪倍-软硬兼施:分布式高速缓存和流式计算架构设计 杜修文 - 预览新世代MySQL 8-0 张文升 - Happy Hacking in Tantan Using PostgreSQL - PostgreSQL in Tantan 姚捷 - 秒级监控时代-GIAC(公开版) 杨保华-区块链到分布式账本 张晓通-壹钱包架构演进之路 赵文乐-互金企业如何运用技术解决发展和合规的挑战 苗广艺 - 人工智能技术如何在教育行业落地 58速运 沈剑 - 头疼,技术 leader 怎么定量化 KPI 饿了么 史海峰-不忘初心,中级领导力修炼 沪江 余晟-要“蜕变”不要“退变”——成为合格技术领导者 特赞科技 黄勇 - 工程师择业之道 廖雄杰 - APM全栈性能监控实践 陆传胜 - bytecode dance 肖桦 - Java Tuning Guide 杨大鹏 - APM系统构建与应用 360 王浩 - APK行为监控与分析 白山云科技 丛磊 - AI重塑Web安全_部分1 白山云科技 丛磊 - AI重塑Web安全_部分2 刘明浩 - 金融科技分布式安全架构 郭扬 - 持续集成技术实践 何勉&洪永潮 - 度量引导的持续交付和敏捷实施 姚延栋 - Greenplum机器学习工具集和案例 李远策 - XLeaning:360深度学习调度平台架构设计 腾讯 黄明 - 进击的巨人:基于Angel的高维度Online Learning 谢孟军 - 微服务和Go语言的应用 杨晓峰 - Java9-In-Practice bilibili 毛剑 - B站微服务链路监控实践 陈皓 - Cloud Native 云化架构_部分1 陈皓 - Cloud Native 云化架构_部分2 吴疆 - Microservice 在 Cloud Foundry 的应用 邢海涛 - 微服务和K8s集成探索实践 jiangjie qin-Auto Management for Apache Kafka and Distributed Stateful System in General 阿里巴巴 马昕曦-Dubbo 的过去、现在以及未来 携程 余昭辉-去哪儿网消息中间件演进 阿里巴巴 姜天意-基于bpmn流程引擎驱动的前端研发平台 百度 彭星-基于 Vue 的 PWA 解决方案——开源 Lavas 项目案例 饿了么 邓钢-前端生产环境部署 ES6 代码 360 董福源 - Android框架虚拟化实战 滴滴出行 戴铭 - Swift 将 Web 代码转成60帧满帧原生应用的方案及实践_部分1 滴滴出行 戴铭 - Swift 将 Web 代码转成60帧满帧原生应用的方案及实践_部分2 极光 王可为 - 极光Android SDK架构演进之路 阿里巴巴 邹迪飞 - 移动应用高可用技术探索 华为 杜玉杰 - 物联网操作系统漫谈 映云科技 李枫 - 基于 EMQ 开发千万级 IoT 平台架构实践 云吧 张虎 - IoT:海量设备的连接和安全 饿了么 吴俊龙&严佳奇 - 饿了么全链路压测的实践与体系建设 京东 张琪 - 质效合一----驱动质量团队提效之路 腾讯 何纯 - 基于真实用户体验的实时监控和优化 宋子豪@Mesosphere_ 容器行业存储标准CSI与Apache Mesos 网易云 赖冬林-Kubernetes 网易云 性能优化实践-Final_部分1 网易云 赖冬林-Kubernetes 网易云 性能优化实践-Final_部分2 俞圆圆 - 电竞数据的容器实践 — serverless的电竞数据计算平台 鸟哥惠新宸-The Next G of PHP

文档介绍

随着深度学习技术在图像,语言,语音等应用场景都达到了state of the art效果,深度学习框架也呈现群雄逐鹿的态势,谷歌,脸书,微软,亚马逊,百度等大企业及少数几家创业公司都推出了自己的产品。这次演讲对现有主流深度学习框架做一梳理,首先从用户体验角度讨论,一个好的深度学习框架应该有什么样的特点,其次从技术角度讨论,什么样的设计和实现才能达到这个目标,和业界同行探讨这个领域的技术是否已收敛,将向何处去。

演讲实录

2017年12月22日,袁进辉(老师木)代表OneFlow团队在全球互联网架构大会上海站做了《深度学习平台技术演进》的报告,小编对报告内容作简要梳理注解,以飨读者。

此次报告的主要观点为:(1)计算力是神经网络/深度学习复兴的最大推动力之一;(2)面对深度学习的计算力挑战,软件至少和硬件一样地关键,单靠硬件无法提供易用性和扩展性;(3)鉴于深度学习上层业务和底层硬件的独特性,传统大数据平台里的某些技术未必再对深度学习平台适用;(4)深度学习软件平台技术在快速演进中,一部分早期被采用的技术正在被新方法替代;(5)仍有很多重要问题未被现有开源深度学习平台解决;(6)深度学习软件尚处在发展早期,百花齐放,百家争鸣,但必将收敛到一种业界公认的最佳实践(best practice)。
深度学习在近些年带来的突破无须赘言,从图像 (ImageNet) ,语音,围棋人机大战等方面的突破都源于深度学习技术。
机器学习可以视为一种从训练数据中自动推导出程序的方法。以最常见的有监督学习(supervised learning)为例,可简单理解为,通过优化方法自动在高维空间找到分类超平面。
现实中遇到的绝大部分机器学习问题,基于原始特征(Input Space)无法找到分类超平面把训练数据里的正例和负例恰好分开。在机器学习领域,有一些通用的手段来处理线性不可分的问题,譬如可以在Input Space 寻求非线性分界面,而不再寻求线性分界面;也可以通过对特征做预处理,通过非线性映射的手段把训练数据从Input Space 映射到一个所谓的Feature Space,在原始Input Space无法线性可分的样例在Feature Space有可能线性可分。深度学习就是这种思想的一个典型应用。
深度学习从计算上体现为一连串的变换(transformation),常见的变换都可以表示成矩阵计算。以上图为例,输入层有6个神经元,输出层共有4个神经元,每个输出神经元都和输入层的每个神经元有一条边相连,每条边有一个对应的权重(红色神经元的输入边权重都用红色表示)。输入数据是4个样例,每个样例是一个6维的列向量,列向量的每一维对应输入层的一个神经元。输入数据经过这层神经元的作用,仍是4个样例,每个样例变成了4维的列向量。这样一层神经网络可以用右图的矩阵乘法来表示。像这种稠密矩阵运算意味着并行计算的潜力。
以大家耳熟能详的卷积神经网络CNN 为例,可以感觉一下目前训练深度学习模型需要多少计算力。这张表列出了常见CNN模型处理一张图片需要的内存容量和浮点计算次数,譬如VGG-16网络处理一张图片就需要16Gflops。值得注意的是,基于ImageNet数据集训练CNN,数据集一共大约120万张图片,训练算法需要对这个数据集扫描100遍(epoch),这意味着10^18次浮点计算,即1exaFlops。简单演算一下可发现,基于一个主频为2.0GHz的CPU core来训练这样的模型需要好几年的时间。下面我们看一下使用几种典型硬件来训练CNN模型需要多少时间。

×

打开微信扫一扫,分享到朋友圈