美文网首页设计数据密集型应用
《设计数据密集型应用》番外1 - Apache Omid介绍

《设计数据密集型应用》番外1 - Apache Omid介绍

作者: MeazZa | 来源:发表于2019-10-09 16:23 被阅读0次

    1. Omid是什么

    Apache Omid的全称是Optimistically transaction Management In Datastores,也就是数据库的乐观事务管理。它是灵活、高可用和高性能和可扩展的事务框架,帮助MVCC的键值NoSQL数据库实现ACID的事务特性。

    当前的实现提供了在Apache HBase的多行数据的事务能力,但Omid的设计足够灵活可以支持其他数据库的实现,只要它们的API可以提供MVCC的特性。

    2. 为什么用Omid

    事务指的是将对数据库的一组操作整合为一个操作单元,因此所有操作要么全部完成(commited),要么都不生效(aborted)。换句话说,事务不允许有部分操作成功,部分失败,因为数据库的状态将因此不可控。

    没有事务的支持,开发者就要承担着保证对数据库的分散操作的原子性,特别是在操作出现失败时,以及由多个客户端发起的并发访问的处理。

    为了实现事务,数据库提供了一个特殊的组件,称之为事务管理器。事务管理器的目的是为了保证事务所谓的ACID特性:原子性、一致性、隔离性、可见性。然而,当数据库处理海量数据和成千上万的并发用户时,ACID的特性很难实现,因为海量的数据必须是分区的、分布式和多副本的。这也就是为什么NoSQL的大数据存储最初设计是不支持事务性,像HBase、Dynamo、BigTable、PNUTS和Cassandra都是如此。然而,随着NoSQL的大数据存储在越来越多的工业界的使用,对于这些应用来说事务是必须的。

    Omid填补了这个空白,并且在HBase上提供了不需要锁的镜像隔离(snapshot isolation)的事务支持,Omid保证了大数据应用可以在利用NoSQL大数据存储的可扩展性的同时,也可以使用事务处理的并发处理和原子性。

    Omid的好处

    总结下Omid提供的好处:

    1. Omid提供HBase多行和多表的事务;
    2. Omid是无锁的。基于锁的实现,在某个客户端的事务未完成前,会阻止其他客户端操作,如果一个客户端比较慢,会拖累其他客户端。
    3. Omid提供了镜像隔离(Snapshot Isolation)级别的保证;
    4. Omid不需要修改HBase的代码,所有的事务实现逻辑都在框架内部;
    5. Omid不需要修改HBase的表结构,Omid使用HBase的元数据,特别是单元时间戳,保存每个值在插入、更新和删除时的事务时间戳。这保证了并发读时获取正确的时间戳。
    6. Omid具有良好的性能和可靠性。

    3. Omid的架构

    Omid的架构图如下:

    Omid的架构图

    Omid有一个中心化的server,称为Transactional Status Oracle(TSO),它负责监控事务修改的rows和cells,用此检查写-写冲突。

    用户的应用通过Transactional Clients(TC)发起,提交或中断事务,并发起和TSO的远程通信,允许对数据库中的数据执行事务操作。

    当事务创建时,由Timestamp Oracle(TO)分配一个唯一的起始时间戳。这个时间戳作为事务的识别码,当有其他事务同时在写数据时,TSO用此时间戳来保证镜像隔离(SI)。在冲突检测成功完成之后,TSO分配给该事务一个提交时间戳,并将起始时间戳和提交时间戳写入到Commit Table(CT)中,然后再将响应返回客户端。当接收到响应时,TC为事务中每个写cell的操作分配一个Shadow Cell(SC),保证后续的读操作不需要TSO就可以读到正确的镜像版本。

    这里主要的组件功能描述如下:

    • Timestamp Oracle(TO):分配起始和提交时间戳来标用定事务的上下文;
    • Transaction Status Oracle(TSO):Omid架构在server端的核心组件,主要用于解决并发事务的冲突;
    • Commit Table(CT):临时保存每个提交事务的起始时间戳到提交时间戳的映射;
    • Transactional Client(TC):允许客户端应用通过事务管理器标定事务的边界,并通过事务表(Transactional Tables)执行事务的读写操作;
    • Shadow Cells(SC):这些特殊的元数据cells和数据存储中的数据cells同时写,允许Transactional Client不通过Commit Table解决读的版本问题,其中包含了写入数据cell的最后一个事务的边界。

    进一步阅读请参考:http://omid.incubator.apache.org/omid-components.html

    相关文章

      网友评论

        本文标题:《设计数据密集型应用》番外1 - Apache Omid介绍

        本文链接:https://www.haomeiwen.com/subject/yyjgpctx.html