美文网首页工作生活
Google思想体系

Google思想体系

作者: 陈超Terry的技术屋 | 来源:发表于2019-07-02 19:14 被阅读0次

    Hadoop的诞生,是受到Google三篇论文的影响(GFS、PageRank、BigTable).

    Google思想体系包含几个部分:

       1、分布式存储系统:GFS

        2、倒排索引

        3、PageRank

        4、BigTable

    分布式存储系统:GFS

    GFS

       搜索算法:倒排索引

    倒排索引

    PageRank,PR值

    PageRank

       PageRank采用了MapReduce编程模型,进行并行计算。

        下图用一个例子,诠释MapReduce编程模型的Map和Reduce的分工

    MapReduce例子

    BigTable

       BigTable是Google设计的分布式数据存储系统,用来处理海量的数据的一种非关系型的数据库。BigTable是非关系型数据库,是一个稀疏的、分布式的、持久化存储的多维度排序Map。Bigtable的设计目的是快速且可靠地处理PB级别的数据,并且能够部署到上千台机器上。

        Bigtable是一个键值(key-value)映射。按作者的说法,Bigtable是一个稀疏的,分布式的,持久化的,多维的排序映射

        Bigtable的特点

    1、适合大规模海量数据,PB级数据;

    2、分布式、并发数据处理,效率极高;

    3、易于扩展,支持动态伸缩;

    4、适用于廉价设备;

    5、适合于读操作,不适合写操作。

    6、不适用于传统关系型数据库

    相关文章

      网友评论

        本文标题:Google思想体系

        本文链接:https://www.haomeiwen.com/subject/levzcctx.html