百度的核心业务和数据库系统都依赖分布式文件系统作为底层存储,文件系统的可用性和性能对上层搜索业务的稳定性与效果有着至关重要的影响。 现有的分布式文件系统(如 HDFS 等)是为离线批处理设计的,无法在保证高吞吐的情况下做到低延迟和持续可用,所以我们从搜索的业务特点出发,设计了百度文件系统。 在百度文件系统设计中,一方面,涉及从中心化和对等模型的折衷,到元数据的扩展性,再到网络拓扑的选择等,一系列大型分布式系统中的通用问题与解决方案, 另一方面,又有在新的实时处理场景下的设计创新,怎么保证系统持续可用,怎么在不影响整体吞吐的情况下,保证99分位延迟。
浏览4586次
浏览11464次
浏览2966次
浏览1364次
浏览794次
浏览1607次
2025-06-20 深圳
2025-04-19 南京
2025-08-15 上海
2025-10-23 上海
打开微信扫一扫,分享到朋友圈