美文网首页
分布式存储

分布式存储

作者: 杰森斯坦sen | 来源:发表于2020-04-26 18:27 被阅读0次

Ceph

Ceph是一个可靠、自动重均衡、自动恢复的分布式存储系统。Ceph没有单点故障的问题,数据强一致性,在部分节点出现故障的时候依然能够正常存取文件。

  • 高可用性:Ceph 存储集群应该保存两份以上的对象副本。Ceph数据分布CRUSH算法在大规模的集群下数据依然能够快速准确的计算存放位置,同时能够在硬件故障或扩展硬件设备时做到自动重均衡、自动恢复。
  • 一致性:Ceph 客户端读或写数据前必须先连接到某个 Ceph 监视器,监视器集群基于改进的Paxos算法,对外提供一致性的元信息访问和更新服务。
Ceph数据分布与复制

腾讯PaxosStore

PaxosStore: 数据分布与复制 PaxosStore架构 微信分布式文件系统

微信分布式文件系统Namenode 基于PaxosStore,DataNode基于Raft协议。Raft是基于租约机制的完美实现,基于Raft可以做到DataNode的强一致写。

Reference

Ceph分布式存储
Ceph Monitor and Paxos
微信10亿日活场景下,后台系统微服务架构实践

相关文章

  • 分布式存储

    认识分布式存储 分布式存储系统,是通过网络将数据分散存储在多台独立的设备上。 分布式存储系统的特性 可扩展分布式存...

  • 分布式存储

    分布式存储 = 单机存储引擎 + 分布式存储架构 news https://github.com/OpenMPDK...

  • 分布式存储系统介绍(一)

    分布式存储系统 分布式存储按其存储接口分为三种:文件存储、块存储和对象存储。 1.文件存储 通常支持POSIX接口...

  • 干货:分布式系统学习笔记

    一、分布式的两大场景 数据存储的分布式 服务的分布式 二、数据存储的分布式 比如海量数据,单机存储不下,需要多机,...

  • 分布式爬虫笔记(三)- 分布式存储

    分布式存储 分布式的存储包括网页文件的存储和爬虫队列的存储,在前面分享的分布式爬虫笔记(二)- 多线程&多进程爬虫...

  • 《分布式技术原理与算法解析》学习笔记Day21

    分布式数据存储三要素 什么是分布式数据存储系统? 分布式存储系统的核心逻辑,就是将用户需要存储的数据根据某种规则存...

  • Hadoop相关介绍

    分布式存储系统HDFS(Hadoop Distributed File System)POSIX 分布式存储系统 ...

  • Hadoop理论知识

    1、hadoop的概念:分布式文件存储和计算框架 hdfs:使用分布式思想存储海量数据 MapReduce:分布式...

  • 前端nginx反代后端mogilefs存储实战实例

    一、MogileFS存储 1、MogileFS分布式文件存储系统 MogileFS是一个开源的分布式文件存储系统,...

  • 二、Hadoop 入门

    1、什么是hadoop 1.1功能详解 分布式存储和分布式计算,向下提供基于HDFS 的分布式文件存储系统,向上提...

网友评论

      本文标题:分布式存储

      本文链接:https://www.haomeiwen.com/subject/kwmjwhtx.html