Q3、分布式存储市场的现状?
时间:2022-03-29 03:45:01 | 来源:行业动态
时间:2022-03-29 03:45:01 来源:行业动态
分布式存储是一个技术难度被显着低估的领域。随着HDFS、Lustre、GlusterFS、Ceph等开源分布式软件项目的兴起,一个普通软件工程师可以在一天或一周时间内搭建一个PoC分布式存储系统。包括华为、新华三、以及一些初创公司,在开源项目上优化,推出各自分布式存储产品,同质化现象严重,同时给行业带来假象,似乎分布式存储没有什么技术门槛。然而,无论是互联网公司,还是在企事业单位,由于使用分布式存储导致的业务中断、甚至数据丢失的报导屡见不鲜。
为什么(分布式)存储是一个技术壁垒很高的行业?这是由于存储最基本的核心诉求是数据不丢失、业务不中断。一个典型的存储系统包含上百万个电子元器件、上亿行软件代码,里面任何一个元器件老化失效、电子信号干扰、软件Bug、系统意外掉电,都有可能导致数据丢失。由此可见,要打造一个高可靠、高性能的分布式存储系统绝非易事。
三副本和EC纠删码是分布式存储中常见的两种数据保护机制。由于EC纠删码存在比较严重的写放大问题,小块数据的写性能严重不足,通常仅适用于视频、备份、容灾等对IO性能要求不高的业务场景。在虚拟化、私有云、数据库等块存储场景,最常见的是三副本机制,即数据块按某种随机规则,保持在三个不同节点上的不同磁盘上。
三副本分布式存储多节点硬盘损坏导致数据丢失
三副本分布式存储的数据可靠性可应对比较小的规模场景,但当存储规模扩大,或硬件老化时,系统可能出现两个、甚至多个磁盘同时发生故障的情况,可能导致业务中断和数据丢失。此外,由于数据修复依赖于网络带宽,网络的状态不稳定容易导致次生故障。因此,三副本分布式存储对运维的要求非常苛刻,隐形成本极高。