首页>会议文档 >

Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》

page:
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》
Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》

Agora 何丰 - 《质量实时监控-声网全球音视频实时传输的关键帧》

所属会议:ArchSummit全球架构师峰会(深圳站)——实时处理技术与创新业务架构专场会议地点:深圳


下载

手机看
活动家APP客户端

扫二维码下载
或点击下载
Android iOS

4965次
浏览次数
ArchSummit全球架构师峰会(深圳站)——实时处理技术与创新业务架构专场所有文档 罗喆 - 快手在大数据驱动下的直播体验优化 Facebook Engineering Manager黄力菲,谭映辉 - 《Facebook代码工具》- 《Tools for Advanced Prototyping for Mobile Apps》-Joe 阿里巴巴- 陈鑫 - 《互联网时代的持续交付》 华为iSource 团队蒋鑫 - 《华为Git实践:工作模式创新,及多中心分布式架构 》 Mobvista 黄伟坚 - 《独角兽炼成记》 爱因互动 创始人洪强宁 - 《从程序员到架构师,从架构师到CTO》 千米网 曹祖鹏 - 《从大厂到创业公司,架构师经历的三次转身》 阿里巴巴 杨成虎 - 《造物先造人,八年架构与心路历程》 58到家蔡敏 - 《58到家支付系统架构与实践》 Sync 单忆南 - 《点融网金融科技的大数据解决方案》 阿尔山金融 韩昭芳 - 《区块链技术及其在金融领域的落地实践》 听云 龙成 - 《支撑千万亿级交易额的银行云计算架构演进》 Hulu 李彬 - 《Hulu基于DASH构建的高清直播系统架构及实践》 林正显 - 《YY直播基于软硬件的弱网深度优化》 腾讯 王磊 - 《亿级社交短视频播放实战》 Using sagas to maintain data consistency in a microservice architecture-Chris 有米科技 TO蔡锐涛 - 《从0 到1再到100,创业不同阶段的技术管理思考》 广州经传 刘小明 - 《从码农到CTO再到CEO过程中的认知升级》 百度 刘斌新 - 《Al筑巢;机器学习在凤巢的深度应用》 Bay沈则潜 - 《数据驱动电商零售运营》 同程旅游 王晓波 - 《从微服务到 Serverless 架构:享受纯粹的编程乐趣》- 华为 方国伟 - 《Cloud vNext :正在兴起的云计算新技术》 曹宁 - 《Data Outsourcing in Cloud Computing;Reliability,Security and Privacy》 新加坡南洋理工大学 黄广斌 - 《普适智能和普适学习;智能革命和智能经济的引擎》 百度 冯景辉 - 《人工智能在WEB安全中的实践》 阿里巴巴 胡四海 - 《风控场景的模型平台架构》 同程 刘新高- 《巡风系统在同程运维安全的实践 雅虎刘琳 - 《自然语言理解技术与智能问答实践》 秦苍科技 李炫熠 - 2017人工智能在消费金融领域的实践 小红书 赵晓萌 - 电商智能应用 华为 陈玉君 - 如何设计开发智能分析产品?供应链领域的实践启示 黄力菲+倪安迪 - 《Mobile Performance at Scale》 腾讯 罗成 - 《WEB加速,协议先行》 天猫 陈松涛 - 《无线动态化框架 LuaView性能优化》 腾讯周海发 - 《红包狂欢背后的秘密-手Q春节红包后台架构实践》 蘑菇街江龙 - 《蘑菇街分布式消息中间件Corgi在多场景下应用架构演进》 《Walmart eCommerce Search system architecture;intro and Evolution》_曹宁 阿里巴巴 谢吉宝 - 《阿里异地多活与同城双活的架构演进》 王飞 - 《广发证券新一代行情系统架构与优化》 付钱拉 周恒 - 《系统架构的加法与减法》 蘑菇街 陈宗 - 《支付体系架构与实践》 维优 陈浩 - 《公有区块链与区块链即服务》 阿里巴巴 陈皓 - 《建一支分布式远程团队》 施韵涛 - 《数字组织和人才战略》 手机卫士 卜云涛 - 《360手机卫士性能提升攻略》 阿里巴巴 胡文江 - 《Atlas 手机淘宝 Android 架构实践》 京东 刘享军 - 《京东3d数据平台》 腾讯 郭锐 - 《微信Android模块化架构重构实践》 阿里巴巴 周小帆 - 《全链路稳定性背后的数字化支撑-阿里巴巴鹰眼技术解密》 腾讯 聂鑫 - 《腾讯海量监控创新之道》 小米 陈帅 - 《小米监控实践之路》 携程 蔡峰 - 《携程容器云智能运维》 京东 鲍永成 - 《京东容器平台与数据中心基础设施协同发展实践》 新浪微博 韩冰 - 《微博机器学习平台混合云应用实践》 小米 李波 - 《小米生态云的应用引擎实践》 腾讯 甘恒通 - 《信鸽实时推送演进和实践》 百度外卖 蒋凡 - 《大数据驱动业务增长:百度外卖商业智能推荐系统实践》 美团 王兴星 - 《美团外卖原生广告推荐实践》 TensorFlow 李嘉璇 - 深度学习在推荐系统中的应用和实现 Joel pobar - 《Move Fast and Break Things :Engineering at Facebook》 贝贝网 徐裕键 - 《独角兽团队的持续迭代》 PingCAP黄东旭 - 《Dynamic Multi-Raft;强一致高可用系统设计与实践》 邹方明 - 《存储世界,不止如此 - EB级存储引擎背后的技术》 小米云 孙伟杰 - 《分布式实现那些事儿:Pegasus 背后的故事》 airbnb曾洪博 - 《airbnb数据平台实践》 刘新宇 - 《Secret Kung Fu Stream Processing with Apache samza》 美团谢语宸 - 《美团点评数据平台融合实战》 网易 金晓军 - 网易流计算服务化平台架构实践 UCloud朱锋 - 《无惧挑战 ——站式构建轻运维高可用架构》 大疆创新张清平 - 大疆服务网关全球化设计和实践

文档介绍

本次演讲主要分享如何通过大数据平台解决全网音视频传输的实时质量监控问题。 在全球实时音视频传输过程中,会面临很多实时监控挑战,比如设备、服务器全球分布很广;移动设备种类太多;数据指标不够详尽;时间序列的存储需要优化等等。 声网Agora.io的全球虚拟实时通信网SD-RTN™支撑全球200多个国家的实时通话和直播,从Day One开始,团队希望以数据为核心来驱动质量改进和优化,因此在数据架构设计、数据收集、分析、还原、预警和使用上有很多实践经验分享,同时总结出如何将数据与业务紧密结合的“关键帧”。

演讲实录

会上,声网首席数据架构师,数据平台负责人何丰表示,一次通话的传输过程,包含很多个环节,每个环节的质量,会对整个服务的质量、乃至用户体验产生巨大影响。影响通话质量的因素很多,有接入质量,传输质量,用户的设备,软件集成的问题等等。保证通信质量,并不容易。声网的实时质量检测系统从一开始就对数据进行实时监控,包括通话的体验、节点表现、路由表现、编码表现。“有了这些数据,我们就能够对通话过程的情况进行诊断或者进行事后的深入复盘。“声网首席数据架构师,数据平台负责人何丰说道。



2014年创立之时,声网在全球率先使用大数据平台做监控和实时保障,一方面给内部研发提供丰富的质量数据支撑,另一方面逐步开放给声网开发者,对通话质量“心中有数”。何丰介绍说,当时做数据平台的初衷,是参照了美国NASA的数据驱动方式来做的数据监控系统。“我们全程实时监测用户的通话体验,这个用户接入网络好不好、我们的接入节点工作不工作、我们的智能路由有没有找到最优路径、SDK有没有正常编码。有了这些数据,我们就能像监控卫星运转一样,对通话过程的情况进行诊断或者进行事后的深入复盘。我们的目标是做到整个通信服务的质量是可感知和可保障的,可以说我们是全球第一个使用大数据平台做监控和实时保障的通信技术服务商,”何丰说道。



何丰在现场展示了声网的实时监控系统架构图,演示了如何通过对基础网络的监控,端到端的监控,用户体验的监控,告警系统,以及个例调查,给开发者提供超低延时,高可用有 QoE质量保证的传输服务。



何丰表示声网的实时监控体系,包含几百个指标,每个用户的数据都要实时收集、实时分析。所以,需要一个稳定的架构来支撑这样的海量数据和运算量。



声网的客户端和服务器节点是全球分布的,要保证端到端的质量监测,需要从四个系统来进行监测:“第一是全球实时数据上报和收集。第二是实时计算系统、第三是实时存储系统、第四是离线存储系统。实时收集是为了解决全球数据实时上报的。实时计算系统我们是做一些数据的实时统计和分析,有异常的时候进行告警。实时存储是把这些数据进行实时收集起来,能够做实时调查的一些工具,这里会用到HBase。最后是离线存储,我们后面会做整体的质量分析。”何丰说道。



声网的质量检测体系包含4个层面, 基础网络质量、基础服务质量、端到端传输质量, 用户体验质量。


要实现这四个层次的监测,首先需要对其所包含的上百个指标进行清晰定义。“比如说用户设备上播放视频的帧率、首帧视频的延迟、画面渲染的质量、声音播放的频率是否有卡顿或者声音是否能播放出来;其次是接入服务器的服务质量,比如说有百分之多少的响应时间是在1秒以下的,还有端到端的质量,比如丢包、延迟、抖动,还有基础网络质量,比如两两机房之间的丢包、延迟、抖动的质量,这些数据都要收集起来。”何丰说道。 



目前,这个数据监测系统一天规模是一千亿条指标数据。并且在随着用户量的增加,逐渐提升。“目前声网整体监控的延迟性能大概是10s以内,从终端用户体验到接入到大网通话开始到结束,所有的环节我们都能监控起来,所有的通话都可以回溯,任何一通通话出现问题,我们都能找到原因。”何丰说道。



声网Agora.io于2014年在硅谷创立,创始人是前YY CTO赵斌先生。声网开创了全球实时云服务,成为实时通信领域最专业的服务商。声网的实时API共帮助了3万多开发者,连接了全球超过5亿的终端用户,服务覆盖五大洲的200多个国家和地区,付费客户遍布全球。百度、阿里、小米互娱、陌陌、花椒、贪吃蛇大作战、狼人杀、Hike、Meetme等目前都与声网Agora.io开展了深度合作。


×

打开微信扫一扫,分享到朋友圈