处理多样和海量的业务日志对实现、性能、稳定性和成本带来挑战,怎样支持灵活的日志采集处理,实现具有容灾能力的高性能和低成本的存储系统?这里介绍腾讯SNG基于QQ号码体系的每天70TB,峰值130万/s的业务日志采集、实时处理、存储和在线统计分析大数据平台。该平台基于Jstorm、Druid和ElasticSearch构建,支持标准化的日志和有规则的个性日志采集;将数据处理过程抽象为过滤、翻译、聚合统计和存储,实现配置化的数据处理流程;构建自研的低成本日志存储系统和基于Druid的OLAP系统,提供秒级响应的在线数据查询服务。