美文网首页
云宏大讲坛 | Ceph分布式存储高性能设计

云宏大讲坛 | Ceph分布式存储高性能设计

作者: chennbwin | 来源:发表于2019-01-09 18:15 被阅读0次

随着数据量的不断增长,如何以高效的方式存储数据量成为IT界的一个挑战。许多传统存储解决方案不能满足日益增长的需求,业界迫切需要一种新的方法来管理现今的数据,为用户控制访问时间,缩减管理成本。

软件定义的存储解决方案是存储大量数据的一个新兴方案。当代网络,云计算、大数据技术的应用使得数据呈指数增长,每天增长达百万兆背景字节的数据量是常见的情况。我们迫切需要一种更有效的解决方案,如可伸缩扩展的软件定义存储解决方案Ceph。

Ceph是一个具有高度可扩展性、开放源码的软件定义存储解决方案,能够提供基于对象,块和文件系统的统一的分布式存储集群服务。Ceph可以改造公司的IT基础设施来管理海量数据,并提供非常好的可扩展性,存储集群可以容纳大量的利用硬件和守护进程的分布式存储节点,互相之间复制分发数据。Ceph监控在Ceph存储集群的也具有分布式的特点,从而保证高可用性。

一个高度可扩展的容错存储集群,网络架构和运行Ceph的MON(Monitor,监控)和Ceph

OSD(Object Storage

Device,提供存储资源)一样重要。对于Ceph存储集群的主要指标就是高扩展性和高可用性,因此,网络显然必须有能力处理预期的客户端数量和每个客户端的吞吐量。该网络还必须处理Ceph

OSD的心跳、数据复制、集群再平衡以及故障恢复。在正常操作中,一个单独写主OSD的操作会间接导致写非主的OSD,写的次数基于我们的复制因子。因此,集群网络的流量显著超过了公众网络在正常工作条件下的流量,在公共网络中,Ceph客户端读取和写入数据到Ceph

OSD守护进程以及发送OSD心跳信息,而在集群网络,Ceph OSD守护进程彼此检查Ceph

OSD的心跳信息,当系统出问题的时候,发送状态报告给监视器,复制对象,重平衡集群以及实现backfill和恢复。

WinStore是云宏提供的企业级分布式软件定义块存储解决方案。它针对Ceph在性能方面进行深度优化,对可靠性、易用性、可管理性实施改进,实现自动化运维。WinStore不但可支持运营商实现PB级以上容量的存储资源池,也可帮助企业实现成本可控的小规模水平扩展存储,整合或替代现有中端存储设施,或构建应用融合方案,支撑各种OLTP或OLAP业务应用。WinStore分布式块存储可以帮助用户发挥通用的x86服务器硬件设施的性能潜力,在管理特性、效能和接口各方面达到传统SAN设备的水平,并具备水平扩展的能力,让用户在TCO可控的情况下轻松实现“软件定义存储”的目标。

区别于开源的Ceph,WinStore在关键环节进行了深度代码优化,包括网络和磁盘处理效率的优化、数据分层与缓存机制的优化等,使得存储系统能够胜任高并发、高输入输出效率的需求,与主流NVMe闪存技术相结合,通过SPDK新协议栈优化IO路径,突破单节点数千IOPS的瓶颈;通过配置不同性能的通用硬件,无缝适应冷热数据切换等各种应用场景的性能需求。同时WinStore也具有卷级的QoS(Quality

of Service)设置,支持最为广泛的客户应用接口。

相关文章

  • 云宏大讲坛 | Ceph分布式存储高性能设计

    随着数据量的不断增长,如何以高效的方式存储数据量成为IT界的一个挑战。许多传统存储解决方案不能满足日益增长的需求,...

  • ceph分布式存储学习指南

    ceph是模块化和可扩展的,并且有容错设计。先进的分布式存储系统。ceph凭借其高可扩展性、高可靠性、高性能的特点...

  • 滴滴运维技术周刊 2017.06第一周

    存储技术了解与深入: 分布式存储高可用设计 WhyCeph Ceph 存储引擎实现之 FileStore

  • ⑤ K8s使用Ceph作为存储、监控、日常运维管理

    Ceph分布式存储学习文档① Ceph分布式存储系统简介② Ceph版本选择与安装③ Ceph—RBD块设备介绍与...

  • ceph安装配置

    简介 ceph是一个开源分布式存储系统,支持PB级别的存储,支持对象存储,块存储和文件存储,高性能,高可用,可扩展...

  • Ceph 概念 以及 搭建

    概述 Ceph是一个分布式存储系统,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的...

  • ceph工作原理及安装

    一、概述 Ceph是一个分布式存储系统,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目。随着云计...

  • ① Ceph分布式存储系统简介

    一、为什么要用Ceph 分布式存储 Ceph 介绍及原理架构分享 上分布式存储 Ceph 介绍及原理架构分享 下 ...

  • ceph总结

    ceph简介 Ceph是一个分布式存储系统,诞生于2004年,是最早致力于开发下一代高性能分布式文件系统的项目。随...

  • Ceph介绍及原理架构分享

    1. Ceph架构简介及使用场景介绍 1.1 Ceph简介 Ceph是一个统一的分布式存储系统,设计初衷是提供较好...

网友评论

      本文标题:云宏大讲坛 | Ceph分布式存储高性能设计

      本文链接:https://www.haomeiwen.com/subject/qowgrqtx.html