以Flink和SnappyData为核心,将原有的非实时、开发周期长、维护成本高的以“预处理”为核心的方案,转化为目前以“后处理”为核心的方案。 开发效率:得到质变,无需预处理,周级别需求小时级完成。 节省存储空间:比如原方案Kylin中150T+预处理结果数据不再需要。 其他一些收益:比如指标一致性显著提升。 历史数据问题:采用类SCD Type 2的方式,处理历史事实数据和数据压缩,有不少对比数据。 建模问题:直接从原始表支持需求,中间缺少传统数仓建模的抽象层次,尝试实现类似Shasta的RVL层。 介绍SnappyData的优势劣势,当前的问题,我们在调优方面的努力,以及我们的定制化修改: 支持注册Spark声明式UDF,相比于命令式UDF,性能提升一个量级,很好的解决了酒店的特殊场景; Boxing/Unboxing优化; QueryPlan Cache相关的优化。
浏览7266次
浏览1108次
浏览3173次
浏览5061次
浏览4127次
浏览4430次
2024-08-23 上海
2024-09-25 上海
2024-08-22 北京
2024-07-20 上海
打开微信扫一扫,分享到朋友圈