美文网首页大数据,机器学习,人工智能
一个初级程序员通过4个月的学习,完全就能搞定大数据实战项目

一个初级程序员通过4个月的学习,完全就能搞定大数据实战项目

作者: 大数据05 | 来源:发表于2018-06-06 19:12 被阅读2次

    无论是关系型数据库还是非关系型数据库,都是某种数据模型的实现。本文将为大家简要介绍5种常见的数据模型,让我们来追本溯源,窥探现在流行的数据库解决方案背后的神秘世界。


    分享之前我还是要推荐下我自己创建的大数据学习资料分享群199427210,这是全国最大的大数据学习交流的地方,不管你是小白还是大牛,小编我都挺欢迎,今天的源码已经上传到群文件,不定期分享干货,包括我自己整理的一份最新资料和零基础入门教程,欢迎初学和进阶中的小伙伴。

    什么是数据模型?

    访问数据库中的数据取决于数据库实现的数据模型。数据模型会影响客户端通过API对数据的操作。不同的数据模型可能会提供或多或少的功能。一般而言,数据模型不会直接提供过多的功能,许多功能必须由客户端自行实现。

    数据模型决定了客户端如何对数据进行编码存储。应用程序需要某种域模型与存储技术支持的特性进行映射。

    迄今为止,主导的数据模型仍然是关系模型。在这里,我们主要想为大家介绍一下非关系模型,作为对比,本文也会简要介绍一下关系模型。

    数据模型概述


    1.关系模型

    关系模型使用记录(由元组组成)进行存储,记录存储在表中,表由架构界定。表中的每个列都有名称和类型,表中的所有记录都要符合表的定义。SQL是专门的查询语言,提供相应的语法查找符合条件的记录,如表联接(Join)。表联接可以基于表之间的关系在多表之间查询记录。

    表中的记录可以被创建和删除,记录中的字段也可以单独更新。

    关系模型数据库通常提供事务处理机制,这为涉及多条记录的自动化处理提供了解决方案。

    对不同的编程语言而言,表可以被看成数组、记录列表或者结构。表可以使用B树和哈希表进行索引,以应对高性能访问。

    2.键值存储

    键值存储提供了基于键对值的访问方式。

    键值对可以被创建或删除,与键相关联的值可以被更新。

    键值存储一般不提供事务处理机制。

    对不同的编程语言而言,键值存储类似于哈希表。对此,不同的编程语言有不同的名字 (如,Java称之为“HashMap”,Perl称之为“hash”,Python称之为“dict”,PHP称之为“associative array”),C++则称之为“boost::unordered_map<...>”。

    键值存储支持键上自有的隐式索引。


    键值存储看起来好像不太有用,但却可以在“值”上存储大量信息。“值”可以是一个XML文档,一个JSON对象,或者其它任何序列化形式。

    重要的是,键值存储引擎并不在意“值”的内部结构,它依赖客户端对“值”进行解释和管理。

    3.文档存储

    文档存储支持对结构化数据的访问,不同于关系模型的是,文档存储没有强制的架构。

    事实上,文档存储以封包键值对的方式进行存储。在这种情况下,应用对要检索的封包采取一些约定,或者利用存储引擎的能力将不同的文档划分成不同的集合,以管理数据。

    与关系模型不同的是,文档存储模型支持嵌套结构。例如,文档存储模型支持XML和JSON文档,字段的“值”又可以嵌套存储其它文档。文档存储模型也支持数组和列值键。



    与键值存储不同的是,文档存储关心文档的内部结构。这使得存储引擎可以直接支持二级索引,从而允许对任意字段进行高效查询。支持文档嵌套存储的能力,使得查询语言具有搜索嵌套对象的能力,

    XQuery

    就是一个例子。

    MongoDB

    通过支持在查询中指定JSON字段路径实现类似的功能。

    4.列式存储

    如果翻转数据,列式存储与关系存储将会非常相似。与关系模型存储记录不同,列式存储以流的方式在列中存储所有的数据。对于任何记录,索引都可以快速地获取列上的数据。

    Map-reduce的实现

    Hadoop

    的流数据处理效率非常高,列式存储的优点体现的淋漓极致。因此,

    HBase

    Hypertable

    通常作为非关系型数据仓库,为Map-reduce进行数据分析提供支持。

    关系类型的列标对数据分析效果不好,因此,用户经常将更复杂的数据存储在列式数据库中。这直接体现在

    Cassandra

    中,它引入的“column family”可以被认为是一个“super-column”。

    列式存储支持行检索,但这需要从每个列获取匹配的列值,并重新组成行。

    (列式数据库InfoBright 数据仓库性能很不错)

    5.图形数据库

    图形数据库存储顶点和边的信息,有的支持添加注释。

    图形数据库可用于对事物建模,如社交图谱、真实世界的各种对象。

    IMDB

    (Internet Movie Database)站点的内容就组成了一幅复杂的图像,演员与电影彼此交织在一起。

    图形数据库的查询语言一般用于查找图形中断点的路径,或端点之间路径的属性。

    Neo4j

    是一个典型的图形数据库。


    选择哪一种数据模型?

    数据模型有着各自的优缺点,它们适用于不同的领域。不管是选择关系模型,还是非关系模型,都要根据实际应用的场景做出选择。也许你会发现单一的数据模型不能满足你的解决方案,许多大型应用可能需要集成多种数据模型。(张志平/编译)

    五个值得关注的图形数据库

    图形数据库是一种非关系型数据库,它应用图形理论存储实体之间的关系信息。最常见的一个例子,就是社会网络中人与人之间的关系。关系型数据库用于存储“关系型”数据的效果并不好,其查询复杂、缓慢、超出预期,而图形数据库的独特设计恰恰弥补了这个缺陷。

    Google的图形计算系统名为Pregel,下面让我们来为您介绍几个流行的图形数据库。

    1. Neo4j

    Neo4j是一个流行的图形数据库,它是开源的。

    2. FlockDB

    FlockDB是Twitter为进行关系数据分析而构建的。FlockDB迄今为止还没有稳定的版本,对于它是否是一个真正的图形数据库,尚有争议。

    3. AllegroGraph

    AllegroGraph是一个基于W3c标准的为资源描述框架构建的图形数据库。它为处理链接数据和Web语义而设计,支持SPARQL、RDFS++和Prolog。

    4. GraphDB

    GraphDB是德国sones公司在.NET基础上构建的。GraphDB托管在Windows Azure平台上。

    5. InfiniteGraph

    InfiniteGraph基于Java实现,它的目标是构建“分布式的图形数据库”,已被美国国防部和美国中央情报局所采用。

    下一代Hadoop战略——数据即平台

    在上周的Strata大会上,与会者透露出有关下代Hadoop的消息。包括对6000节点的支持、配备高可用性的HDFS以及下一代MapReduce的特性等。而未来Hadoop替代操作系统的大胆想法也让我们充满无限遐想。


    在Strata会议上Hortonworks创始人和Apache Hadoop项目VP Arun Murthy透露新版Hadoop的相关特性。下一代的Hadoop将支持6000节点,同时配备高可用性的HDFS(Hadoop Distributed File System)。

    而下一代MapReduce框架则被命名为YARN或MRv2(MapReduce version 2)。新框架已经不再是传统的MapReduce框架,甚至与MapReduce无关,YARN可被看做是通用的运行时框架,用户可以编写自己的计算框 架,在该运行环境中运行。经过改良的MapReduce将分离HDFS中块和命名空间的管理,提高数据的可伸缩性。最重要的是改良后的MapReduce 将对非MapReduce应用进行支持,这使得更多类型应用将具备在MapReduce工作的能力。

    谷歌算法揭秘:一次搜索请求平均往返2400公里

    谷歌搜索演进

    作为全球使用最广泛的搜索引擎,谷歌算法一直有一层神秘面纱。近日谷歌工程总监斯科特·霍夫曼向腾讯科技讲述谷歌算法幕后故事,称2011年有520多项改进,自2003年到现在,Google搜索已解决4500亿个搜索请求。

    斯科特还透露,谷歌一个搜索请求平均往返于电脑和数据中心单程距离是750英里,这也意味着一次搜索请求平均往返需要1500英里,约合2400公里。

    RavenDB:基于Windows/.NET平台的NoSQL数据库

    众所周知,NoSQL运动旨在成为大数据时代传统关系数据库管理系统的替代品。如今Microsoft对开源的态度有所转变,RavenDB就是很好的例 子。Microsoft对RavenDB(NoSQL数据库)的认可令很多人感到惊讶。RavenDB可以轻易的替代关系数据库管理系统并兼容以往 的.NET应用。

    RavenDB是针对Windows/.NET平台而设计的文档数据库。RavenDB的出现将.NET应用与非关系数据库连接到一起。数据以 Shcema-less方式存储,并直接通过HTTP、RESTful API或更方便的.NET客户端API连接。.NET客户端API使用LINQ操作RavenDB数据库文档存储。

    云计算:亚马逊第一 第二把交椅何人坐?

    亚马逊对用户推出的Web服务,使它成为迄今为止最大的云服务提供商。就像大多数的大型云供应商一样,亚马逊并没有就当前或计划中的数据中心透露太多。

    埃森哲分析师Huan Liu的最新研究结果显示,亚马逊的Elastic Compute Cloud(EC2)在高达45万台服务器上运行。亚马逊没有公布AWS的营收,但有人表示它可能已经是一项10亿美元的业务。

    本文预计Rackspace、Google、微软、IBM、惠普、VMware、Facebook这七家公司将成为亚马逊的云对手。

    新密钥技术简化云端数据加密

    由于在云环境中,IT团队缺乏对数据安全的直接控制,所以数据迁移到云环境将会给IT团队带来新的复杂的安全问题。此外,云供应商认为数据安全是需要共同 承担责任,即服务供应商保证物理安全,用户必须保护其服务器和数据的安全。这将需要新的加密策略和密钥管理策略,将密钥存储在云环境外部,而不是云环境 中。

    初创安全公司Porticor刚刚推出了一个解决方案,专门解决云环境中静态数据安全问题。Porticor公司提供了一种分离密钥加密解决方案,云客户 是唯一知道主密钥的人。另外,Porticor公司解决了所有与加密数据有关的复杂问题,客户几乎不要去想这些问题。这种独特的密钥管理解决方案既提供了 安全性,也提供了便利性。


    微软下调Azure云服务价格 与亚马逊竞争

    微软上周下调了其Azure云存储服务和Windows Azure Extra Small计算服务的价格。此举是微软在亚马逊下调其Web服务价格几天之后采取的行动。

    这一切意味着什么?对于IT买主来说,云计算价格正在迅速下降并且已经与电费水平一样。考虑到电费受天然气价格、季节和其它可变因素的影响,云计算的价格可能更便宜。

    大数据学习群:199427210

    相关文章

      网友评论

        本文标题:一个初级程序员通过4个月的学习,完全就能搞定大数据实战项目

        本文链接:https://www.haomeiwen.com/subject/tcdisftx.html