存储系统的牢靠性保证通常 千亿级数据防丢指南

一、溯源——vivo存储服务引见

1.产品矩阵

咱们的团队关键担任两大板块内容，一是存储和数据库产品矩阵，二是周边工具及接纳类服务。

这两局部内容的区别关键是，周边工具和接入类服务简直是有形态的，用户对这类服务提出可用性的需求，比如咱们往常接触到的SLA；而存储及数据库产品等引擎，关键面向对象存储、文件存储、表格存储等专门的服务业务，包括可用性和牢靠性的目的。

2.存储框架

云存储畛域的黄金数字是11个9，接上去就以存储服务为切入点，向大家引见11个9能否量化？如何量化？

如上图所示，存储框架的外围理路是以自研的存储引擎为外围，辅以阿里、腾讯等私有云的存储，取得一致的存储底座，在上面构成对应存储的一致网关，进而提供一套混合云的存储系统。而后，存储系统启动协定转换、衍消费品开发，为业务提供存储服务和衍生的生态服务。

比如，咱们会应用自己的SDK和AWS S3 SDK，提供原生的对应重组产品，向前封装文件的存储网关，兼容posix协定，为用户提供文件的存储产品。除此之外，还会封装企业网盘，启动专项服务，为用户提供相应的衍消费品。

3.运营数据

，基于跨机房的纠删码关系优化，对牢靠性提出了应战。如下图所示，咱们线上的集群容量到达亿（此数据尚未包括Hadoop的数据容量），存储数量已超1,000亿。

二、归因：存储牢靠性要素剖析

1.数据失落影响要素

数据失落的五大要素包括：软件缺点、数据损坏、恶意窃取、人为错误、配件缺点，其中配件缺点的占比拟高。

2.软件缺点和数据损坏

软件缺点的关键要素是软件设计不规范、测试不完善及运维颁布的操作爆炸半径太高。

这些疑问的通用途理方案是：

数据损坏的行业通用途理方案相对成熟，由于在处置传输与存储的环节中，都有必定概率遇到数据损坏的疑问。

处置方案：

3.恶意窃取和人为错误

人为错误关键包括两类疑问，第一类是运维人员操作错误，第二类是用户自己的误杀或误笼罩。

恶意窃取关键是内外部人员关系窃取或删除数据，其处置方案包括：

4.配件缺点

配件缺点是须要重点关注的存储牢靠性要素，由于它占比拟高，样本量比拟大，所以有必定概率启动量化。

1）要素

2）配件缺点的处置方案

假设咱们只依照传统方式，参与K，缩小M，修复带宽就会十分高。并且，多AZ之间的修复带宽自身老本较高，所以给牢靠性带来了很大压力。因此，咱们设计了一个低冗余度、允许多AZ部署、且修复带宽较少的纠删码优化方案。

上面右图来自2021年亚马逊AWS S3关于牢靠性保证的演讲，这幅图提供了两个关键的信息。

三、建模：存储牢靠性量化模型

1.11个9的由来

11个9是亚马逊在2006年提出的牢靠性规范，一切云存储提供商都像军备比赛一样，宣称自己能提供多少个9，但行业内简直没有任何一家云厂商能提供威望的量化模型。

这11个9如何量化？

亚马逊的官网文档提供了两种定义：

回忆那张AWS演讲里的图，它引入了两个比拟关键的参考目的：配件的平均缺点期间、缺点的平均修复时长，对应到年平均目的的层面上，就是年平均缺点率和年平均修复率。

2.牢靠性模型影响要素

接上去，引见树立模型的详细影响要素。如下图所示，假设第一个磁盘爆炸，前面磁盘的数据须要对它启动修复，这个环节或许触及到修复带宽，所以修复带宽的大小必定会对牢靠性发生影响。这个磁盘自身的数据量、系统节点数目也影响了修复期间，这三个目的实践上影响了修复率的值。

正本的数量、磁盘缺点率对牢靠性也是有影响的，这比拟好了解，如何了解数据散布系数对牢靠性的影响？

如上图左下角所示，备份有两种数据散布方式。在第一种备份的数据散布状况下，假设第一个磁盘挂了，只能依托第二个磁盘启动修复，即只要一个盘启动修复，所以速度较慢。

第二种备份将数据分块打散，其余三个磁盘都存储一局部数据。第一个磁盘挂掉后，就有多个磁盘并行修复，速度会更快。

这是不是说明第二种备份方式就是最好的？也不必定。由于第一种备份只管修复速度慢，但正好修复了挂掉的数据。用第二种备份方式，修复的数据或许不是挂掉的数据，实践存在数据失落状况，因此，数据散布系数对牢靠性也有影响。

3.MTTDL牢靠性模型

以下引见几个关键的存储牢靠性量化模型。第一个是MTTDL（平均系统数据失落期间），它和磁盘的MTTF的区别在于，MTTDL用于权衡系统平均数据失落期间。

MTTDL模型在1994年被提出，1.0版本基于Markov链推导而来，上图列出了一个简化版的计算公式。相关于1.0版本，最近几年出现的MTTDL的2.0版本，引入了刚才讲到的数据散布系数。

MTTDL有几个缺陷：第一个缺陷是，它基于Markov链的方式；第二个缺陷是，基于整个系统的缺点平均期间，它是听从指数散布的。

另外，前期的MTTDL模型没有思索扇区错误，所以近期的MTTDL优化版本屏蔽了Markov链的劣势，不经常使用这种方式建模；将指数散布优化成，缺点率可以灵活调整的Weibull散布；思索独立扇区、关系性扇区的错误；思索修复时长等NORMAL目的。

MTTDL模型对不同系统设计的牢靠性启动优劣评价，起到了十分大的作用。

4.EAFDL牢靠性模型

MTTDL的定义是，平均系统的失落数据的时长。它有两个特点：第一，MTTDL越高，丢数据频率越低；第二，它只关注失落的频率，不关注每次失落数据的数量。

EAFDL的定义是，预期每年数据的失落比例。EAFDL的定义更凑近11个9的定义，由于11个9的定义是平均每年对象的失落率，所以EAFDL会比MTTDL会更贴近11个9的计算。

EAFDL的计算公式如上图，它在MTTDL的基础上，引入了失落的平均数据量，它在mtdl的基础之上，引入了失落平均数据量在用户总数的占比。

但在实在的场景下，EAFDL模型不必定会比MTTDL模型更好。

例如，Facebook曾经地下了一篇论文，讲到在大规模idc部署的状况之下，他们更偏差于控制失落的频率，而非失落事情的数据量。由于每次由于失落事情都会发生固定老本，而固定老本的影响较大。所以实在状况下，EAFDL模型不能齐全代替MTTDL模型。

假设并重失落的频率，那么在往常系统设计时，可以始终提高MTTDL。假设大家设计的MTTDL都差不多，下一步才会思索能否应该让EAFDL最小化。

假设并重失落的数量，在系统测试时，可以始终让EAFDL最小化，同时让MTTDL最大化。

四、通常：存储牢靠性评价通常

1.vivo牢靠性建模思绪

咱们的建模思绪对上述模型启动取舍，取的是什么？咱们将MTTDL的频率维度、EAFDL的失落量维度和数据散布系数，归入到建模思绪。

舍的是什么？咱们屏蔽了MTTDL的指数散布、扇区错误的建模，舍去了Markov链的建模。

2.vivo牢靠型模型

上图是全体建模的参数引入，和之前的参数是相似的。

区别在于，往常磁盘配件厂商对外报AFR参数有两个目的：一个是MTBF，一个是AFR，咱们将AFR引入到建模。同时，咱们也参照了一家云端厂商Backblaze的地下模型引见，他们应用泊涣散布，模拟年度硬盘缺点数量的散布。基于这两个角色，咱们制造了正本和纠删码的牢靠性模型。

建模同时，咱们也经常使用了EAFDL的模型，并引入了失落的数据量在整个用户数据量的占比。

上图右下角的表格，是咱们基于正本形式启动的试验数据。试验目的关键是，充沛验证不同建模参数对牢靠性的影响，进而得出论断。局部论断可以从原理层面推断，比如，AFR越小，牢靠性越高；存储应用率低，牢靠性越高；修复带宽越高，牢靠性越高；正本和测验位数越高，牢靠性越高。

然而，机器数量越多，它的牢靠性不必定越高；数据散布因子越大，牢靠性会降低，须要咱们在整个系统中启动权衡。

3.牢靠性评价平台化树立

评价平台的树立基于两个准则：第一，须要评价新老方案的牢靠性优劣；第二，须要近实时地评价线上系统牢靠性的危险。

五、思索：存储牢靠性评价思索

1.方向思索

咱们有两个呐喊：

IliasIliadis的论文十分有价值，他从2000年左右开局，在CTRQ宣布泛滥关于云存储系统的牢靠性模型钻研。大家假设感兴味，可以搜查看看。

2.未来布局

未来，咱们或许会引入扇区错误要素，从新建模。

没有引入扇区错误，是由于目前业界提供的均值目的，威望性还有待考据。扇区错误是磁盘里比拟经常出现的错误，不必定是独立的，或许具无关系性。所续等相应目的的实在性足够后，咱们会思索启动从新监管。

Q1：您感觉优化牢靠性的上班中，近期哪一局部改良的影响最大？

A1：近期咱们树立了牢靠性模型，为什么要建模？由于咱们目前在启动纠删码的关系优化，假设纠删码的冗余度偏低，就不可保证牢靠性，所以咱们树立了一套模型去评价。

当然这个模型自身的量级不必定能到达11个9，但相关于线上这套系统，它可以看出好还是坏。树立这个模型，繁难咱们后续算法优化时启动参考。假设你的算法比拟极其，比如降低的量级比拟大，或许就要颠覆算法，从新设计。

作者引见

vivo云存储研发担任人。上班10余年，先后到任于华为、腾讯、百度，如今vivo担任云存储研发担任人，钻研方向：对象存储、文件存储、NOSQL存储等散布式存储畛域。