流数据集在当前的互联网应用中越来越常见。相应的,我们对于数据流水线的实时性、数据完全性、以及处理成本有着不同的要求。 Apache Beam对于流处理与批处理定义了一个全新的统一编程框架。在这个编程框架下,数据流水线的开发独立于执行引擎。它解决了流水线执行引擎的可移植性问题,用户既可以在流处理与批处理之间切换,也可以在不同的执行引擎之间切换。 现在,已经和Apache Beam集成的流水线引擎有:Apache Apex, Apache Flink, Apache Spark, Google Cloud Dataflow。
浏览5007次
浏览2892次
浏览4998次
浏览7224次
浏览2914次
浏览7555次
2024-08-23 上海
2024-07-20 上海
2024-06-28 上海
2024-04-25 上海
打开微信扫一扫,分享到朋友圈