首页>会议文档 >

奇虎360 李振炜——Elasticsearch加速SparkSQL查询

page:
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询
奇虎360 李振炜——Elasticsearch加速SparkSQL查询

奇虎360 李振炜——Elasticsearch加速SparkSQL查询

所属会议:Elastic 中国开发者大会 2016会议地点:北京


下载

手机看
活动家APP客户端

扫二维码下载
或点击下载
Android iOS

9629次
浏览次数

文档介绍

SparkSQL对查询的SQL,需要扫描全部的数据,然后获取满足查询条件的记录。如果在海量的数据中,命中的记录个数比较小,查询的时间主要在读取数据。 为了加速响应时间,我们对存储在hdfs上的海量数据的指定字段,建立索引,存储在Elasticsearch中;对于每一个SQL查询,提取出索引字段的查询条件,然后通过Elasticsearch得到满足条件的记录的路径,Spark直接读取记录,实现了海量数据的查询,秒级响应。

×

打开微信扫一扫,分享到朋友圈