以Flink和SnappyData为核心,将原有的非实时、开发周期长、维护成本高的以“预处理”为核心的方案,转化为目前以“后处理”为核心的方案。 开发效率:得到质变,无需预处理,周级别需求小时级完成。 节省存储空间:比如原方案Kylin中150T+预处理结果数据不再需要。 其他一些收益:比如指标一致性显著提升。 历史数据问题:采用类SCD Type 2的方式,处理历史事实数据和数据压缩,有不少对比数据。 建模问题:直接从原始表支持需求,中间缺少传统数仓建模的抽象层次,尝试实现类似Shasta的RVL层。 介绍SnappyData的优势劣势,当前的问题,我们在调优方面的努力,以及我们的定制化修改: 支持注册Spark声明式UDF,相比于命令式UDF,性能提升一个量级,很好的解决了酒店的特殊场景; Boxing/Unboxing优化; QueryPlan Cache相关的优化。
浏览7444次
浏览1232次
浏览3279次
浏览5274次
浏览4224次
浏览4593次
2025-06-20 深圳
2025-04-19 南京
2025-08-15 上海
2025-05-23 上海
打开微信扫一扫,分享到朋友圈