林尚泉:我是来自小米的云平台的工程师林尚泉,下面我来给大家介绍一下小米结构化存储系统以及融合云平台的设计和实践。这个是今天的演讲大纲,比较简单。结构化存储是一个分布式NoSQL数据库服务,对标AWS DynamoDB,我们的目标是要把它做成一个弹性可扩展、高可用、低延时、稳定可靠的数据库服务。首先介绍一下项目的背景,HBase在小米用的比较好,但是用着就发现了一些问题,包括一些认证和环境配置比较复杂,还有多语言支持的不太好等等,到后面我们还要支持生态链公司的一些结构化数据的存储需求,所以我们需要在公网里面提供访问,HBase在公网直接提供访问也不大方便,所以我们就做了这套服务,它是基于HBase的,对外提供无状态的公网访问,简化了客户的配置,支持多种主流语言的SDK,因为一个集群供多个用户一起使用,所以需要支持多租户的功能,包括访问控制和流量控制,并且我们还在原生的HBase上做了一些功能扩展,因为原生的HBase是只支持按主键索引,没有二级索引,也没有数据类型的概念。我们在上面做了一些功能扩展,包括数据类型、二级索引、stream、还有软删除和数据冷备等等这些功能。现在这个服务不仅支持了小米内部业务,包括MIUI、小米网等等,还支持了十几家生态链公司的结构化存储的业务。看一下应用规模,我们在北京天津美国新加坡都有相应的集群,机器规模一百多台,支持的业务数二十几个,数据量一百多TB还有数千亿行,看起来不是很多,但是前段时间统计,现在的数据量是以每两个月翻倍的在增长,现在单集群的QPS大概是几十万级别。
浏览5220次
浏览7643次
浏览7402次
浏览9584次
浏览5063次
浏览3122次
2025-01-08 昆明
2025-04-19 南京
2024-12-27 上海
2025-10-23 上海
打开微信扫一扫,分享到朋友圈