阿里巴巴技术专家宋军分享了题为《SparkSQL在ETL中的应用》的演讲。宋军表示,ETL主要有三个步骤:抽取、转换、加载。首先读取数据源,做清洗加工,整合处理,最终把这些数据存储到目标存储里,对ETL要求满足简单易用、支持多种数据源、支持容错处理、丰富的算子、复杂数据类型、计算快等多个因素。如何实现以上目标,宋军从DataSource、丰富的算子 、Hive兼容、性能、云上ETL 五个方面作出解读。
浏览2829次
浏览2161次
浏览5018次
浏览1088次
浏览4817次
浏览6269次
2024-08-23 上海
2024-07-20 上海
2024-06-28 上海
2024-06-28 北京
打开微信扫一扫,分享到朋友圈