Tair是由阿里巴巴自主研发的高性能高可用的分布式Key/Value结构数据存储系统，在阿里内部有着大规模的应用。
整体架构
作为一个分布式系统，Tair由一个中心控制节点（config server）和一系列的服务节点（data server）组成，
-
config server 负责管理所有的data server，并维护data server的状态信息；为了保证高可用（High Available），config server可通过hearbeat 以一主一备形式提供服务；
-
data server 对外提供各种数据服务，并以心跳的形式将自身状况汇报给config server；所有的 data server 地位都是等价的。
image
Tair主要有下面三种存储引擎：
-
mdb，定位于cache缓存，类似于memcache。支持k/v存取和prefix操作；
-
rdb，定位于cache缓存，采用了redis的内存存储结构。支持k/v，list，hash，set，sortedset等数据结构；
-
ldb，定位于高性能存储，采用了levelDB作为引擎，并可选择内嵌mdb cache加速，这种情况下cache与持久化存储的数据一致性由tair进行维护。支持k/v，prefix等数据结构。今后将支持list，hash，set，sortedset等redis支持的数据结构。
数据一致性
一致性和可靠性
根据CAP理论，在分布式存储系统中，最多只能实现一致性、可靠性和分区容错性三点中的两点。而由于网络硬件肯定会出现延迟丢包等问题，所以分区容错性是我们必须需要实现的。所以我们只能在一致性和可用性之间进行权衡。
Tair 选择了一致性，同时采用复制技术来提高可靠性，并且为了提高效率做了一些优化。事实上在没有错误发生的时候，tair 提供的是一种强一致性，但是在有data server发生故障的时候，客户有可能在一定时间窗口内读不到最新的数据，甚至发生最新数据丢失的情况。
version 机制
Tair中的每个数据都包含版本号，版本号在每次更新后都会递增。这个特性可以帮助防止数据的并发更新导致的问题。version 机制是乐观锁常用的实现方式。
高性能、高可用、可扩展
高性能
tair 的存储引擎可以是 MDB、LDB 或 RDB。它们使用缓存、内存或 SSD 硬盘（LDB） 来提升性能。
高可用
-
支持备份
-
支持多机房部署
-
轻量级configserver
configserver 不是传统的中心节点，挂了对集群的服务无影响
可扩展
Tair 使用一致性哈希作为负载均衡策略。
容错机制
增加或者减少data server的时候会发生什么
当有某台data server故障不可用的时候， config server会发现这个情况， config server负责重新计算一张新的桶在data server上的分布表， 将原来由故障机器服务的桶的访问重新指派到其它的data server中。这个时候， 可能会发生数据的迁移。比如原来由data server A负责的桶，在新表中需要由 B负责。而B上并没有该桶的数据， 那么就将数据迁移到B上来。同时config server会发现哪些桶的备份数目减少了， 然后根据负载情况在负载较低的data server上增加这些桶的备份。当系统增加data server的时候， config server根据负载，协调data server将他们控制的部分桶迁移到新的data server上。迁移完成后调整路由。当然系统中可能出现减少了某些data server 同时增加另外的一些data server。处理原理同上。 每次路由的变更，config server都会将新的配置信息推给data server。在客户端访问data server的时候， 会发送客户端缓存的路由表的版本号。如果data server发现客户端的版本号过旧，则会通知客户端去config server取一次新的路由表。如果客户端访问某台data server 发生了不可达的情况(该 data server可能宕机了)，客户端会主动去config server取新的路由表。
发生迁移的时候data server如何对外提供服务
当迁移发生的时候， 我们举个例子， 假设data server A 要把桶 3，4，5 迁移给data server B。因为迁移完成前，客户端的路由表没有变化，客户端对 3， 4， 5 的访问请求都会路由到A。现在假设 3还没迁移， 4 正在迁移中， 5已经迁移完成。那么如果是对3的访问， 则没什么特别， 跟以前一样。如果是对5的访问， 则A会把该请求转发给B，并且将B的返回结果返回给客户，如果是对4的访问，在A处理，同时如果是对4的修改操作会记录修改log。当桶4迁移完成的时候，还要把log发送到B，在B上应用这些log。最终A B上对于桶4来说， 数据完全一致才是真正的迁移完成。当然如果是因为某data server宕机而引发的迁移， 客户端会收到一张中间临时状态的分配表。这张表中，把宕机的data server所负责的桶临时指派给有其备份data server来处理。 这个时候服务是可用的，但是负载可能不均衡。当迁移完成之后，才能重新达到一个新的负载均衡的状态。
网友评论