分区

作者: 时海观察者 | 来源:发表于2018-12-28 23:25 被阅读3次

简介

在面对海量数据存储(需要大的存储空间)和海量查询(需要高并发的查询)时,单服务器的数据存储模型无法提供高可用性。

分区所做的事情就是将大的数据集拆分成多个子数据集,然后放在多个数据服务器上。这样一来,数据存储被分散在多台服务器上,数据计算服务同样也被分散在多台服务器上。

分区方法

分区策略是指,如何拆分数据集。

在选择分区策略时,首先要考虑的就是分区粒度。例如在KV数据库中,便会将key作为原子进行分区,拆分结果便是一组key => 一个数据实例。但是以key作为原子时,有可能会出现单个key中存储了一个big value,这时分区无法对这个big value进行进一步的分割。

然后便要考虑哪些key => 一个数据实例。这相当于定义一个映射函数,你可以手动地指定如hash(key) ∈ (s0,s1] => Node_0,然后函数形式就是一张表。也可以用数学公式key => Node_{hash(key) % n},这样便省去记录映射表。在定义映射函数的时候还要考虑,对于一些相关key是否需要映射到同一节点,以方便涉及多个key的事务或者查询操作。

最后便是分区的实现。

  • 客户端分区
    客户端对于给定key选择正确的节点进行读取或者写入。
  • 代理辅助分区
    客户端将请求发给分区代理服务程序,由代理程序转发请求到正确的节点,并将结果返回客户端。
  • 查询路由
    客户端将请求发给任意节点,由数据节点转发请求到正确的节点。

相关文章

  • mysql表分区

    mysql表分区主要分为RANGE分区,LIST分区,HASH分区,LINEAR HASH分区,KEY分区 目前,...

  • hive分区表

    分区就是分目录: 增加分区: 显示所有分区: 同时创建多个分区: 删除单个分区: 删除多个分区: 创建二级分区: ...

  • fdisk

    一、磁盘分区原理与规则 磁盘分区类型:主分区,扩展分区,逻辑分区 分区规则: 1、主分区+扩展分区的数量不能超过4...

  • linux 分区说明

    一、磁盘管理 1、分区类型:主分区、扩展分区、逻辑分区 2、分区要求: 分区不是必须的操作 主分区最多创建4个 主...

  • Ubuntu系统安装分区攻略

    主分区和逻辑分区 主分区 英语是Primary Partition。也称为主磁盘分区,和扩展分区、逻辑分区...

  • 硬盘分区

    开始分区 n p 删除分区 d 添加扩展分区 n e (逻辑分区) 有了扩展分区才能添加逻辑分区 l和...

  • mysql 段、区、页以及分区知识点

    目录 一.InnoDB逻辑存储结构段区页 二.分区概述分区 三.分区类型RANGE分区LIST分区HASH分区KE...

  • Linux 磁盘分区挂载

    1. 分区类型 linux 下有主分区、扩展分区、逻辑分区。主分区最多有4个,扩展分区最多只能有一个。但是主分区+...

  • HiveQL 数据定义:分区

    分区• 建立分区表• 增加分区• 重命名分区• 删除分区 hive组织表到分区。它是将一个表到基于分区列,如日期,...

  • 操作系统-存储管理

    为什么内存要分区?分区有哪些类型? 内存分区是为了方便地支持多程序运行。分区管理分为固定分区和可变分区,固定分区是...

网友评论

    本文标题:分区

    本文链接:https://www.haomeiwen.com/subject/dqpylqtx.html