本次演讲主要分享如何通过大数据平台解决全网音视频传输的实时质量监控问题。 在全球实时音视频传输过程中,会面临很多实时监控挑战,比如设备、服务器全球分布很广;移动设备种类太多;数据指标不够详尽;时间序列的存储需要优化等等。 声网Agora.io的全球虚拟实时通信网SD-RTN™支撑全球200多个国家的实时通话和直播,从Day One开始,团队希望以数据为核心来驱动质量改进和优化,因此在数据架构设计、数据收集、分析、还原、预警和使用上有很多实践经验分享,同时总结出如何将数据与业务紧密结合的“关键帧”。
会上,声网首席数据架构师,数据平台负责人何丰表示,一次通话的传输过程,包含很多个环节,每个环节的质量,会对整个服务的质量、乃至用户体验产生巨大影响。影响通话质量的因素很多,有接入质量,传输质量,用户的设备,软件集成的问题等等。保证通信质量,并不容易。声网的实时质量检测系统从一开始就对数据进行实时监控,包括通话的体验、节点表现、路由表现、编码表现。“有了这些数据,我们就能够对通话过程的情况进行诊断或者进行事后的深入复盘。“声网首席数据架构师,数据平台负责人何丰说道。
2014年创立之时,声网在全球率先使用大数据平台做监控和实时保障,一方面给内部研发提供丰富的质量数据支撑,另一方面逐步开放给声网开发者,对通话质量“心中有数”。何丰介绍说,当时做数据平台的初衷,是参照了美国NASA的数据驱动方式来做的数据监控系统。“我们全程实时监测用户的通话体验,这个用户接入网络好不好、我们的接入节点工作不工作、我们的智能路由有没有找到最优路径、SDK有没有正常编码。有了这些数据,我们就能像监控卫星运转一样,对通话过程的情况进行诊断或者进行事后的深入复盘。我们的目标是做到整个通信服务的质量是可感知和可保障的,可以说我们是全球第一个使用大数据平台做监控和实时保障的通信技术服务商,”何丰说道。
何丰在现场展示了声网的实时监控系统架构图,演示了如何通过对基础网络的监控,端到端的监控,用户体验的监控,告警系统,以及个例调查,给开发者提供超低延时,高可用有 QoE质量保证的传输服务。
何丰表示声网的实时监控体系,包含几百个指标,每个用户的数据都要实时收集、实时分析。所以,需要一个稳定的架构来支撑这样的海量数据和运算量。
声网的客户端和服务器节点是全球分布的,要保证端到端的质量监测,需要从四个系统来进行监测:“第一是全球实时数据上报和收集。第二是实时计算系统、第三是实时存储系统、第四是离线存储系统。实时收集是为了解决全球数据实时上报的。实时计算系统我们是做一些数据的实时统计和分析,有异常的时候进行告警。实时存储是把这些数据进行实时收集起来,能够做实时调查的一些工具,这里会用到HBase。最后是离线存储,我们后面会做整体的质量分析。”何丰说道。
声网的质量检测体系包含4个层面, 基础网络质量、基础服务质量、端到端传输质量, 用户体验质量。
要实现这四个层次的监测,首先需要对其所包含的上百个指标进行清晰定义。“比如说用户设备上播放视频的帧率、首帧视频的延迟、画面渲染的质量、声音播放的频率是否有卡顿或者声音是否能播放出来;其次是接入服务器的服务质量,比如说有百分之多少的响应时间是在1秒以下的,还有端到端的质量,比如丢包、延迟、抖动,还有基础网络质量,比如两两机房之间的丢包、延迟、抖动的质量,这些数据都要收集起来。”何丰说道。
目前,这个数据监测系统一天规模是一千亿条指标数据。并且在随着用户量的增加,逐渐提升。“目前声网整体监控的延迟性能大概是10s以内,从终端用户体验到接入到大网通话开始到结束,所有的环节我们都能监控起来,所有的通话都可以回溯,任何一通通话出现问题,我们都能找到原因。”何丰说道。
声网Agora.io于2014年在硅谷创立,创始人是前YY CTO赵斌先生。声网开创了全球实时云服务,成为实时通信领域最专业的服务商。声网的实时API共帮助了3万多开发者,连接了全球超过5亿的终端用户,服务覆盖五大洲的200多个国家和地区,付费客户遍布全球。百度、阿里、小米互娱、陌陌、花椒、贪吃蛇大作战、狼人杀、Hike、Meetme等目前都与声网Agora.io开展了深度合作。
浏览7398次
浏览9798次
浏览3261次
浏览5275次
浏览4207次
浏览3044次
2025-01-08 昆明
2025-04-19 南京
2024-12-27 上海
2025-10-23 上海
打开微信扫一扫,分享到朋友圈