美文网首页GreenPlum
greenplum扩展segment

greenplum扩展segment

作者: 长振 | 来源:发表于2018-06-05 17:29 被阅读0次

greenplum的segment可以分为2类:

  • 各个数据节点上的seg
  • 数据节点内的seg
    单机上的seg增加,我们称之为“纵向扩展”,单机不变,通过增加机器,我们称之为“横向扩展”。
    扩展seg大致可分为2步:初始化seg;表重分布。
    其中横向扩展需要增加host机器数,并配置互联互通。

横向扩展

1、生成扩展配置文件

#创建扩展目录
mkdir /home/gpdata/gp5
...
mkdir /home/gpdata/gp10
#切换用户
su gpadmin
vim hosts_expand #需要扩展的机器
gpexpand -f hosts_expand
  • 选择备份策略
  • 输入seg数量
  • 输入seg目录(目录需要提前手工创建)

2、运行扩展脚本

gpexpand -i gpexpand_inputfile_??? #上步生成的配置文件

此步遇到个gp本身的bug,最后通过升级5.0到5.8得以解决。
https://github.com/greenplum-db/gpdb/issues/4298

3、重分布表

gpexpand -d 时长or结束时间
gpexpand -d 60:00:00 >gpexpand.log & #后台运行
# 可通过命令查看分布进度
select * from pg_stat_activity;

查看类似alter table only 表名 with (reoganization=true) distributed by (分布键)

4、检查分布情况

select gp_segment_id,count(*) from 表名 group by 1

纵向扩展

相关文章

  • greenplum扩展segment

    greenplum的segment可以分为2类: 各个数据节点上的seg 数据节点内的seg单机上的seg增加,我...

  • Greenplum Segment的检测机制

    如果FTS无法建立连接或者在超时后没有收到一个回复,则会重试。如果失败的探测次数超过配置的最大次数,FTS会探测该...

  • CentOS 7 部署 greenplum-cc-web 4.9

    1 GreenPlum集群安装环境 由虚拟机搭建的一台master两台segment。(参见文章https://w...

  • Greenplum 分布键的选择

    由于Greenplum是一个分布式数据库,所以建表时需要指定分布键,将数据平均分布到各个Segment上。 Gre...

  • java大数据之greenplum

    一、Greenplum简介 1.1 Greenplum是什么 Greenplum数据库是在postgreSQL开发...

  • Greenplum介绍

    一、Greenplum的发展历史 Greenplum的发展可以分为下面6个阶段: 图 1 Greenplum时间线...

  • Greenplum企业应用实战(笔记):第八章 Greenplu

    第八章 Greenplum 线上环境部署 [TOC] 本章开始讲解如何搭建一个高性能、安全可靠、可扩展、可管理的 ...

  • UISegmentControl

    常用方法 新增一个文字segment 新增一个图片segment 删除某个segment 删除所有segment ...

  • java实现greenplum数据库导入实践

    greenplum版本 greenplum: 4.3.17.1 依赖引入 gp导入导出工具类 测试验证 测试数据准...

  • Okio之Segment

    官方解释 Segment Segment 是 buffer 的切割部分. 每个 buffer 中的 Segment...

网友评论

    本文标题:greenplum扩展segment

    本文链接:https://www.haomeiwen.com/subject/smlmsftx.html