美文网首页
大数据存储系统学习

大数据存储系统学习

作者: MonroeHe | 来源:发表于2020-01-06 15:17 被阅读0次

针对不同的数据形式(图,关系数据,key-value形数据),不同的数据规模。所以现在有多个数据库系统,包括SQL与No-SQL的。

一、针对文件系统,分为本地文件系统与分布式文件系统。

本地文件系统

针对单机而言,在应用程序与文件系统进行交互。

分布式文件系统

NFS: Client/Server  主要目的:从不同终端都可以访问同一个目录,多用户共享数据,集中管理

AFS 设计目标:一个服务器支持尽可能多的客户端,解决NFS polling的问题

GFS/HDFS:属于应用层文件系统,与POXIS文件系统的区别为,应用程序 HDFS Client连接才能使用

二、No-SQL数据库

Dynamo: Amazon开发

Gigtable/Hbase:Bigtable源于Google, Hbase是它的开源实现

Cassandra:Facebook 研发,后成为Apache开源项目

三、Zookeeper

开源分布式协调系统

四、文件格式

JSON:基础类型:string,number、true/false、 null    Object:字典     Array

Google Protocol Buffers 定义文件格式

五、图存储系统

Neo4j

相关文章

  • ios学习笔记之SQLite初学者手册(上)

    一 前言 SQLite学习笔记 二 ios中数据存储的方式 ① Plist特点:只能存储系统自带的数据类型,比如:...

  • 大数据存储系统学习

    针对不同的数据形式(图,关系数据,key-value形数据),不同的数据规模。所以现在有多个数据库系统,包括SQL...

  • 数据之一致性和持久性

    数据持久化:把内存中的数据给转换并写入指定的存储系统中,这个过程是保证数据不丢失的基本方式。这个存储系统可以具备很...

  • 《分布式技术原理与算法解析》学习笔记Day21

    分布式数据存储三要素 什么是分布式数据存储系统? 分布式存储系统的核心逻辑,就是将用户需要存储的数据根据某种规则存...

  • 【Redis 系列】redis 学习三,redis 数据结构之

    redis 五大数据结构 Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存...

  • redis学习笔记

    redis学习笔记 简介 Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存...

  • 2008TOCS-Bigtable: A Distributed

    标题:Bigtable:结构化数据的分布式存储系统 今天来学习下大名鼎鼎的Google Bigtable的原论文,...

  • 信道编码之RS纠删码

    简介   随着数据的存储呈现出集中化(以分布式存储系统为基础的云存储系统)和移动化(互联网移动终端)的趋势,数据可...

  • 后端存储14(存档历史数据提升查询性能)

    解决海量数据导致存储系统慢的问题,思想非常简单,就是一个“拆”字,把一大坨数据拆分成 N 个小坨,学名叫“分片(S...

  • druid

    Druid.io(以下简称Druid)是面向海量数据的、用于实时查询与分析的OLAP存储系统。Druid的四大关键...

网友评论

      本文标题:大数据存储系统学习

      本文链接:https://www.haomeiwen.com/subject/cqrcuctx.html