架构详解 值得收藏！ Redis

Redis（REmote DIctionary Service）是一个开源的键值对数据库主机。

Redis 更准确的形容是一个数据结构主机。

Redis不是经过迭代或许排序模式处置数据，而是一开局就依照数据结构模式组织。早期，它的经常使用很像 Memcached，但随着 Redis 的改良，它在许多其余用例中变得可行，包括颁布-订阅机制、流（streaming）和队列。

关键来说，Redis 是一个内存数据库，用作另一个“实在”数据库（如 MySQL 或 PostgreSQL）前面的缓存，以协助提高运行程序性能。它经过应用内存的高速访问速度，从而减轻外围运行程序数据库的负载，例如：

上述数据的示例可以包括会话或数据缓存以及仪表板的排行榜或汇总剖析。

然而，关于许多用例场景，Redis 都可以提供足够的保障，可以将其用作成熟的主数据库。再加上 Redis 插件及其各种高可用性（HA）设置，Redis 作为数据库关于某些场景和上班负载变得十分有用。

另一个关键方面是 Redis 含糊了缓存和数据存储之间的界限。这里要了解的关键一点是，相比于经常使用 SSD 或 HDD 作为存储的传统数据库，读取和操作内存中数据的速度要快得多。

最后，Redis 最常被比作 Memcached，后者过后不足任何非易失性耐久化。

这是两个缓存之间的性能细分。

Memcached	Redis
亚毫秒提前	Yes	Yes
开发者易用性	Yes	Yes
数据分区	Yes	Yes
支持宽泛的编程言语	Yes	Yes
初级数据结构	Yes
多线程架构	Yes
快照	Yes
复制（Replication）	Yes
事务	Yes
颁布/订阅	Yes
Lua脚本	Yes
天文空间支持	Yes

只管如今领有多种性能模式将数据耐久化到磁盘，但过后初次引入耐久化时，Redis 是经常使用快照模式，经过异步拷贝内存中的数据模式来做耐久化。可怜的是，这种机制的缺陷是或许会在快照之间失落数据。

Redis 自 2009 年成立到如今曾经变的很成熟。咱们将引见它的大局部架构和拓扑，以便你可以将 Redis 参与到你的数据存储系统库中。

一、Redis 架构

在开局探讨 Redis 外部结构之前，让咱们先探讨一下各种 Redis 部署及其掂量取舍。

咱们将关键关注以下这些设置：

依据你的用例和规模，选择经常使用哪一种设置。

单个 Redis 实例是最间接的 Redis 部署模式。它准许用户设置和运转小型实例，从而协助他们极速开展和减速服务。然而，这种部署并非没有缺陷。例如，假设此实例失败或无法用，则一切客户端对 Redis 的调用都将失败，从而降落系统的全体性能和速度。

假设有足够的内存和主机资源，这个实例可以很弱小。关键用于缓存的场景或许会以起码的设置取得清楚的性能优化。给定足够的系统资源，你可以在运行程序运转的同一机器上部署此 Redis 服务。

在治理系统内的数据方面，了解一些 Redis 概念是必无法少的。发送到 Redis 的命令首先在内存中处置。而后，假设在这些实例上设置了耐久性，则在某个时时期隔上会有一个fork进程，来生成数据耐久化 RDB（Redis 数据的十分紧凑的时期点示意）快照或 AOF（仅附加文件）。

这两个流程可以让 Redis 领有常年存储，支持各种复制战略，并启用更复杂的拓扑。假设 Redis 未设置为耐久化数据，则在从新启动或缺点转移时数据会失落。假设在重启时启用了耐久化，它会将 RDB 快照或 AOF 中的一切数据加载回内存，而后实例可以支持新的客户端恳求。

话虽如此，让咱们看看你或许会用到的更多散布式 Redis 设置。

Redis 的另一个盛行设置是主从部署模式，从部署坚持与主部署之间数据同步。当数据写入主实例时，它会将这些命令的正本发送到从部署客户端输入缓冲区，从而到达数据同步的成果。从部署可以有一个或多个实例。这些实例可以协助裁减 Redis 的读取操作或提供缺点转移，以防 main 失落。

咱们如今曾经进入了一个散布式系统，因此须要在此拓扑中思索许多新事物。以前繁难的事情如今变得复杂了。

Redis 的每个主实例都有一个复制 ID 和一个偏移量。这两条数据关于确定正本可以继续其复制环节的时期点或确定它能否须要启动完整同步至关关键。关于主 Redis 部署上出现的每个操作，此偏移量都会参与。

更明白地说，当 Redis 正本实例仅落后于主实例几个偏移量时，它会从主实例接纳残余的命令，而后在其数据集上重放，直到同步成功。假设两个实例无法就复制 ID 达成分歧，或许主实例不知道偏移量，则正本将恳求全量同步。这时主实例会创立一个新的 RDB 快照并将其发送到正本。

在此传输之间，主实例会缓冲快照截止和偏移之间的一切两边升级指令，这样在快照同步完后，再将这些指令发送到正本实例。这样成功后，复制就可以反常继续。

假设一个实例具备相反的复制 ID 和偏移量，则它们具备齐全相反的数据。如今你或许想知道为什么须要复制 ID。当 Redis 实例被优化为主实例或作为主实例从头开局从新启动时，它会被赋予一个新的复制 ID。

这用于推断此新优化的正本实例是从先前哪个主实例复制进去的。这准许它能够执行局部同步（与其余正本节点），由于新的主实例会记住其旧的复制 ID。

例如，两个实例（主实例和从实例）具备相反的复制 ID，但偏移量相差几百个命令，这象征着假设在实例上重放这些偏移量前面的命令，它们将具备相反的数据集。如今，假设复制 ID 齐全不同，并且咱们不知道新升级（或从新参与）从节点的先前复制 ID（没有独特后人）。咱们将须要执行低廉的全量同步。

相反，假设咱们知道以前的复制 ID，咱们就可以推断如何使数据同步，由于咱们能够推断出它们共享的独特后人，并且偏移量关于局部同步再次无心义。

Sentinel 是一个散布式系统。与一切散布式系对抗样，Sentinel 有几个好处和缺陷。Sentinel 的设计模式是，一组哨兵进程协同上班以协调形态，从而为 Redis 提供高可用性。毕竟，你不宿愿包全你免受缺点影响的系统有自己的单点缺点。

Sentinel 担任一些事情。首先，它确保的主实例和从实例反常运转并做出照应。这是必要的，由于哨兵（与其余哨兵进程）可以在主节点和/或从节点失落的状况下收回警报并采取执行。其次，它在服务发现中施展作用，就像其余系统中的 Zookeeper 和 Consul 一样。所以当一个新的客户端尝试向 Redis 写物品时，Sentinel 会通知客户端的主实例是什么。

因此，哨兵一直监控可用性并将该消息发送给客户端，以便他们能够在他们确实启动缺点转移时对其做出反响。

以下是它的职责：

以这种模式经常使用 Redis Sentinel 可以启动缺点检测。此检测触及多个哨兵进程赞同主实例不再可用。这个协定环节称为 Quorum。这可以提高鲁棒性并防止一台机器行为意外造成无法访问主 Redis 节点。

此设置并非没有缺陷，因此咱们将在经常使用 Redis Sentinel 时引见一些倡导和最佳通常。

你可以经过多种模式部署 Redis Sentinel。诚恳说，要提出任何理智的倡导，我须要无关你的系统的更多背景消息。作为普通指点，我倡导在每个运行程序主机旁边运转一个哨兵节点（假设或许的话），这样你也不须要思索哨兵节点和实践经常使用 Redis 的客户端之间的网络可达性差异。

你可以将 Sentinel 与 Redis 实例一同运转，甚至可以在独立节点上运转，只不过它会依照别的模式处置，从而会让事情变得更复杂。我倡导至少运转三个节点，并且至少具备两个法定人数（quorum）。这是一个繁难的图表，合成了集群中的主机数量以及相关的法定人数和可容忍的可继续缺点。

Number of Servers	Quorum	Number Of Tolerated Failures
1	1	0
2	2	0
3	2	1
4	3	1
5	3	2
6	4	2
7	4	3

这会因系统而异，但总体思绪是不变的。

让咱们花点时期思索一下这样的设置会出现什么疑问。假设你运转这个系统足够长的时期，你会遇到一切这些。

没有耐久性保障，特意是耐久化到磁盘的操作（见下文）是异步的。还有一个费事的疑问，当客户发现新的 primary 时，咱们失去了多少写给一个不知道的 primary？Redis 倡导在建设新衔接时查问新的主节点。依据系统性能，这或许象征着少量数据失落。

假设你强迫主实例将写入复制到至少一个正本实例，有几种方法可以减轻损失水平。请记住，一切 Redis 复制都是异步的，这是有其掂量的思索。因此，它须要独立跟踪确认，假设至少有一个正本实例没有确认它们，主实例将中止接受写入。

我置信很多人都想过当你无法将一切数据存储在一台机器上的内存中时会出现什么。目前，单个主机中可用的最大 RAM 为 24TIB，这是目前 AWS 线上列进去的。当然，这很多，但关于某些系统来说，这还不够，即使关于缓存层也是如此。

Redis Cluster 准许 Redis 的水平裁减。

首先，让咱们解脱一些术语解放；一旦咱们选择经常使用 Redis 集群，咱们就选择将咱们存储的数据扩散到多台机器上，这称为分片。所以集群中的每个 Redis 实例都被以为是整个数据的一个分片。

这带来了一个新的疑问。假设咱们向集群推送一个key，咱们如何知道哪个 Redis 实例（分片）保留了该数据？有几种方法可以做到这一点，但 Redis Cluster 经常使用算法分片。

为了找到给定 key 的分片，咱们对 key 启动哈希处置，并经过对总分片数量取模。而后，经常使用确定性哈希函数，这象征着给定的 key 将一直映射到同一个分片，咱们可以推断未来读取特定 key 的位置。

当咱们之后想在系统中参与一个新的分片时会出现什么？这个环节称为从新分片。

假定键 'foo' 之前映射到分片 0， 在引入新分片后它或许会映射到分片 5。然而，假设咱们须要极速裁减系统，移动数据来到达新的分片映射，这将是缓慢且不实际践的。它还对 Redis 集群的可用性发生不利影响。

Redis Cluster 为这个疑问设计了一种处置打算，称为 Hashslot，一切数据都映射到它。有 16K 哈希槽。这为咱们提供了一种在集群中流传数据的正当模式，当咱们参与新的分片时，咱们只有在系统之间移动哈希槽。经过这样做，咱们只有要将 hashlot 从一个分片移动到另一个分片，并简化将新的主实例参与到集群中的环节。

这可以在没有任何停机时期和最小的性能影响的状况下成功。让咱们经过一个例子来谈谈。

因此，为了映射 “foo”，咱们驳回一个确定性的键（foo）散列，并经过散列槽的数量（16K）对其启动修正，从而获取 M2 的映射。如今假定咱们参与了一个新实例 M3。新的映射将是：

如今映射到 M2 的 M1 中映射哈希槽的一切键都须要移动。然而散列槽的各个键的散列不须要移动，由于它们曾经被划分到散列槽中。因此，这一级别的误导（misdirection）处置了算法分片的从新分片疑问。

Gossiping 协定

Redis Cluster 经常使用 gossiping 来确定整个集群的肥壮状况。在上图中，咱们有 3 个 M 个节点和 3 个 S 节点。一切这些节点一直地启动通讯以了解哪些分片可用并预备好为恳求提供服务。

假设足够多的分片赞同 M1 没有照应，他们可以选择将 M1 的正本 S1 优化为主节点以坚持集群肥壮。触发此操作所需的节点数量是可性能的，并且必定正确执行此操作。假设操作不当并且在分区的两边相等时无法冲破平局，则或许会造成集群被拆分。这种现象称为裂脑。作为普通规定，必定领有奇数个主节点和两个正本，以成功最持重的设置。

二、Redis 耐久化模型

假设咱们要经常使用 Redis 存储任何类型的数据同时要求安保保留，了解 Redis 是如何做到这一点很关键。在许多用例中，假设你失落了 Redis 存储的数据，这并不是环球末日。将其用作缓存或在其支持实时剖析的状况下，假设出现数据失落，则并非环球末日。

在其余场景中，咱们宿愿围绕数据耐久性和复原有一些保障。

无耐久化：假设你情愿，可以齐全禁用耐久化。这是运转 Redis 的最快模式，并且没有耐久性保障。

RDB（Redis 数据库）：RDB 耐久化以指定的时时期隔执行数据集的时期点快照。

这种机制的关键缺陷是快照之间的数据会失落。此外，这种存储机制还依赖于主进程的 fork，在更大的数据集中，这或许会造成服务恳求的瞬间提前。话虽如此，RDB 文件在内存中的加载速度要比 AOF 快得多。

AOF（Append Only File）：AOF 耐久化记载主机接纳到的每个写入操作，这些操作将在主机启动时再次被执行，重建原始数据集。

这种耐久性的方法能够确保比 RDB 快照更耐久，由于它是一个仅附加文件。随着操作的出现，咱们将它们缓冲到日志中，但它们还没有被耐久化。该日志与咱们运转的实践命令分歧，以便在须要时启动重放。

而后，假设或许，咱们经常使用 fsync 将其刷新到磁盘（当此运转可性能时），它将被耐久化。缺陷是格局不紧凑，并且比 RDB 文件经常使用更多的磁盘。

RDB + AOF：可以将 AOF 和 RDB 组合在同一个 Redis 实例中。假设你情愿的话，可以以速度换取耐久化是一种折衷方法。我以为这是设置 Redis 的一种可接受的模式。在重启的状况下，请记住假设两者都启用，Redis 将经常使用 AOF 来重建数据，由于它是最完整的。

如今咱们了解了耐久化的类型，让咱们探讨一下咱们如何在像 Redis 这样的复线程运行程序中实践执行它。

在我看来，Redis 最酷的局部是它如何应用 forking 和写时复制来高效地促成数据耐久化。

Forking 是操作系统经过创立自身正原本创立新进程的一种模式。这样，你将取得一个新的进程 ID 和一些其余消息和句柄，因此新 forking 的进程（子进程）可以与原始进程父进程通讯。

如今事情变得幽默了。Redis 是一个调配了少量内存的进程，那么它如何在不耗尽内存的状况下启动复制呢？

当你 fork 一个进程时，父进程和子进程共享内存，并且在该子进程中 Redis 开局快照（Redis）进程。这是经过一种称为写时复制的内存共享技术成功的——该技术在创立分叉时传递对内存的援用。假设在子进程耐久化到磁盘时没有出现任何更改，则不会启动新的调配。

在出现更改的状况下，内核会跟踪对每个页面的援用，假设某个页面有多个更改，则将更改写入新页面。子进程齐全不知道更改以及具备分歧的内存快照的事情。因此，在只经常使用了一小局部内存的状况下，咱们能够十分极速有效地取得潜在千兆字节内存的时期点快照。