网易历经了20年的发展,各业务线沉淀了丰富的数据。大数据平台在满足各业务线数据存储、计算的任务,同时承担着整合集团数据,为客户提供全方位的大数据服务。 在满足业务需求的过程中,对 Hadoop 各组件进行了定制优化(如分时调度,权限控制,元数据管理,Spark 多租户,Spark 高可用,流计算相关)。 同时,围绕大数据底层技术平台也孵化出了猛犸大数据开发平台,网易有数敏捷数据分析平台等产品。本次演讲重点介绍网易基于 Flink 研发的流计算服务化平台,以 SQL 为主要开发方式,支持 DDL,支持丰富的 DML,如 Stream join, Window,支持 UDF,提供丰富的 connector。为网易各业务线提供一站式的流计算解决方案。
浏览7398次
浏览9798次
浏览3261次
浏览5275次
浏览4207次
浏览3044次
2025-01-08 昆明
2025-04-19 南京
2024-12-27 上海
2025-10-23 上海
打开微信扫一扫,分享到朋友圈