[toc]
工作流程
- 初始化设置&验证
初始化设置不是一个并发操作。
- 连接从库(推荐)／主库，检查主库标志
- 预验证ALTER语句
- 初始化验证：权限以及表是否存在
- 创建changelog和ghost表
- 在ghost表上执行ALTER语句
- 对比原表和ghost表的结构，检查共享列，共享唯一键，验证是否有外键，选择共享的唯一键，这个键用于处理表的唯一标识，比如数据迁移等
- 开始监听binlog，监听changelog表的事件
- 在changelog表上注入”good to go”的记录(被二进制日志拦截)
- 开始监听原表DML的binlog事件
- 获取之前原表和ghost表的共享唯一键在原表上的最小值和最大值
- 数据复制流程
该步骤包括多个移动部分，所有操作相互协调并发执行。
- 设置一个心跳机制：频繁的写入到change log表(这是一个低负载的操作，_xx_ghc)
- 心跳机制不断的更新状态
- 定期(频繁)检查潜在的节流信息或者提示
- 在原表上通过行范围控制，将原表数据拆分为一个chunk一个chunk，并且添加到数据迁移任务队列中
- 通过binlog获取原表的DML语句，并且添加到binlog重播任务队列中
- 处理数据迁移任务队列和binlog重播任务队列，并将其顺序的应用到ghost表上(当遇到节流操作或者hint提示时，将会暂停该操作)
- 当数据迁移与binlog重播完成后，将会在changelog表上注入／拦截”copy all done”的记录
- 当
-postpone-cut-over-flag-file参数设置的文件存在时，将会推迟接下来的cut-over操作(但是原表的DML操作依旧会通过binlog应用到ghost表上)
- 结束操作：交换表流程
-
将原表加上写锁，binlog事件会继续应用在gh-ost上(该步骤是个异步操作，因此即使表被锁住，gh-ost仍然可以处理队列中未处理完的binlog事件)
-
将原表rename为_tablename_del表，ghost则rename为tablename表
-
清理工作：删除需要被清除的表
说明
_table_ghc：changelog表，监听binlog和监听事件，能够准确获取当前进度
_table_gho：ghost表，修改完表结构的新表
cut-over操作步骤
原表：tbl
旧表：tbl_old
镜像表：_tbl_gho
| c1~9 | c10 | c11~19 | c20 | c21~ | |
|---|---|---|---|---|---|
| app dml | |||||
| create table tbl_old(id int primary key)comment='magic-be-here' | |||||
| lock table tbl Write,tbl_old Write; | |||||
| blocked:app dml | |||||
| blocked:rename table tbl to tbl_old,_tbl_gho to tbl; | |||||
| apply binlog | blocked:app dml | ||||
| drop table tbl_old | |||||
| unlock tables | |||||
| blocked release:RENAME成功 | |||||
| blocked release:app dml正常执行 | blocked release:app dml正常执行 |
核心参数
gh-ost --help
-allow-master-master:
是否允许gh-ost运行在双主复制架构中，一般与-assume-master-host参数一起使用
-allow-nullable-unique-key:
允许gh-ost在数据迁移依赖的唯一键可以为NULL，默认为不允许为NULL的唯一键。如果数据迁移(migrate)依赖的唯一键允许NULL值，则可能造成数据不正确，请谨慎使用。
-allow-on-master:
允许gh-ost直接运行在主库上。默认gh-ost连接的从库。
-alter string:
DDL语句
-assume-master-host string:
为gh-ost指定一个主库，格式为”ip:port”或者”hostname:port”。在这主主架构里比较有用，或则在gh-ost发现不到主的时候有用。
-assume-rbr:
确认gh-ost连接的数据库实例的binlog_format=ROW的情况下，可以指定-assume-rbr，这样可以禁止从库上运行stop slave,start slave,执行gh-ost用户也不需要SUPER权限。
-chunk-size int:
在每次迭代中处理的行数量(允许范围：100-100000)，默认值为1000。
-concurrent-rowcount:
该参数如果为True(默认值)，则进行row-copy之后，估算统计行数(使用explain select count(*)方式)，并调整ETA时间，否则，gh-ost首先预估统计行数，然后开始row-copy。
-conf string:gh-ost的配置文件路径。
-critical-load string:
一系列逗号分隔的status-name=values组成，当MySQL中status超过对应的values，gh-ost将会退出。-critical-load Threads_connected=20,Connections=1500，指的是当MySQL中的状态值Threads_connected>20,Connections>1500的时候，gh-ost将会由于该数据库严重负载而停止并退出。
-critical-load-hibernate-seconds int :
负载达到critical-load时，gh-ost在指定的时间内进入休眠状态。它不会读/写任何来自任何服务器的任何内容。
-critical-load-interval-millis int:
当值为0时，当达到-critical-load，gh-ost立即退出。当值不为0时，当达到-critical-load，gh-ost会在-critical-load-interval-millis秒数后，再次进行检查，再次检查依旧达到-critical-load，gh-ost将会退出。
-cut-over string:
选择cut-over类型:
atomic/two-step，atomic(默认)类型的cut-over是github的算法，two-step采用的是facebook-OSC的算法。
-cut-over-exponential-backoff
-cut-over-lock-timeout-seconds int:
gh-ost在cut-over阶段最大的锁等待时间，当锁超时时，gh-ost的cut-over将重试。(默认值：3)
-database string:
数据库名称。
-default-retries int:
各种操作在panick前重试次数。(默认为60)
-dml-batch-size int:
在单个事务中应用DML事件的批量大小（范围1-100）（默认值为10）
-exact-rowcount:
准确统计表行数(使用select count(*)的方式)，得到更准确的预估时间。
-execute:
实际执行alter&migrate表，默认为noop，不执行，仅仅做测试并退出，如果想要ALTER TABLE语句真正落实到数据库中去，需要明确指定-execute
-exponential-backoff-max-interval int
-force-named-cut-over:
如果为true，则'unpostpone | cut-over'交互式命令必须命名迁移的表
-heartbeat-interval-millis int:
gh-ost心跳频率值，默认为500
-initially-drop-ghost-table:
gh-ost操作之前，检查并删除已经存在的ghost表。该参数不建议使用，请手动处理原来存在的ghost表。默认不启用该参数，gh-ost直接退出操作。
-initially-drop-old-table:
gh-ost操作之前，检查并删除已经存在的旧表。该参数不建议使用，请手动处理原来存在的ghost表。默认不启用该参数，gh-ost直接退出操作。
-initially-drop-socket-file:
gh-ost强制删除已经存在的socket文件。该参数不建议使用，可能会删除一个正在运行的gh-ost程序，导致DDL失败。
-max-lag-millis int:
主从复制最大延迟时间，当主从复制延迟时间超过该值后，gh-ost将采取节流(throttle)措施，默认值：1500s。
-max-load string:
逗号分隔状态名称=阈值，如：'Threads_running=100,Threads_connected=500'. When status exceeds threshold, app throttles writes
-migrate-on-replica:
gh-ost的数据迁移(migrate)运行在从库上，而不是主库上。
-nice-ratio float:
每次chunk时间段的休眠时间，范围[0.0…100.0]。0：每个chunk时间段不休眠，即一个chunk接着一个chunk执行；1：每row-copy 1毫秒，则另外休眠1毫秒；0.7：每row-copy 10毫秒，则另外休眠7毫秒。
-ok-to-drop-table:
gh-ost操作结束后，删除旧表，默认状态是不删除旧表，会存在_tablename_del表。
## 特点：终止运行
-panic-flag-file string:
当这个文件被创建，gh-ost将会立即退出。
-password string :
MySQL密码
-port int ：
MySQL端口，最好用从库
-postpone-cut-over-flag-file string：
当这个文件存在的时候，gh-ost的cut-over阶段将会被推迟，数据仍然在复制，直到该文件被删除。
-skip-foreign-key-checks:
确定你的表上没有外键时，设置为'true'，并且希望跳过gh-ost验证的时间-skip-renamed-columns ALTER
-switch-to-rbr:
让gh-ost自动将从库的binlog_format转换为ROW格式。
-table string:
表名
## 特点：暂停/恢复
-throttle-additional-flag-file string:
当该文件被创建后，gh-ost操作立即停止。该参数可以用在多个gh-ost同时操作的时候，创建一个文件，让所有的gh-ost操作停止，或者删除这个文件，让所有的gh-ost操作恢复。
-throttle-control-replicas string:
列出所有需要被检查主从复制延迟的从库。
-throttle-flag-file string:
当该文件被创建后，gh-ost操作立即停止。该参数适合控制单个gh-ost操作。-throttle-additional-flag-file string适合控制多个gh-ost操作。
-throttle-query string:
节流查询。每秒钟执行一次。当返回值=0时不需要节流，当返回值>0时，需要执行节流操作。该查询会在数据迁移(migrated)服务器上操作，所以请确保该查询是轻量级的。
-timestamp-old-table:
在旧表名中使用时间戳。这会使旧表名称具有唯一且无冲突的交叉迁移。
-user string :MYSQL用户
限流
gh-ost 可以通过 unix socket 文件或者 TCP 端口（可配置）的方式来监听请求，DBA 可以在命令运行后更改相应的参数，参考下面的例子：
打开限流
echo throttle | socat - /tmp/gh-ost.test.b.sock
_b_ghc 中会多一条记录
331 | 2019-08-31 23:23:00 | throttle at 1567264980930907070 | done throttling
关闭限流
no-throttle | socat - /tmp/gh-ost.test.b.sock
_b_ghc 中会多一条记录
347 | 2019-08-31 23:24:09 | throttle at 1567265049830789079 | commanded by user
改变执行参数：chunk-size= 1024, max-lag-millis=100, max-load=Thread_running=23 这些参数都可以在运行时动态调整。
echo chunk-size=1024 | socat - /tmp/gh-ost.test.b.sock
echo max-lag-millis=100 | socat - /tmp/gh-ost.test.b.sock
echo max-load=Thread_running=23 | socat - /tmp/gh-ost.test.b.sock
阿里云RDS使用gh-ost参数参考
#!/bin/bash
timeExt=`date '+%Y%m%d%H%M%S'`
echo '-------------------------Begin `date '+%Y-%m-%d %H:%M:%S'` -----------------------------------'
masterIp='IP地址'
masterPort=端口号
dbName='DBNAME'
tbName='TBALEAME'
alterSQL="SQL语句"
/home/super/.gh-ost \
--user="${USERNAME}" \
--password="${PASSWORD}" \
--aliyun-rds \ # 阿里云必要参数
--assume-rbr \ # 确实binlog_format是row格式
--allow-on-master \ # 允许在master节点直接执行
--cut-over-lock-timeout-seconds=1 \
--dml-batch-size=10 \
--chunk-size=3000 \ # 处理行数
--verbose \ # 详细信息
--cut-over=default \ # 切换方式atomic
--exact-rowcount \ # 精确计算行数
--concurrent-rowcount \ # 默认是ture，但开始copy数据时计算行数
--heartbeat-interval-millis=2000 \
--serve-socket-file=./ops-ghost.sock \
--throttle-flag-file=./ops-ghost.pause.flag \ # 当该文件被创建后，gh-ost操作立即停止。该参数适合控制单个gh-ost操作。-throttle-additional-flag-file string适合控制多个gh-ost操作。
--panic-flag-file=./ops-ghost.panic.flag \ # 当这个文件被创建，gh-ost将会立即退出
--assume-master-host="${masterIp}:${masterPort}" \ # 为gh-ost指定一个主库，格式为”ip:port”或者”hostname:port”。在这主主架构里比较有用，或则在gh-ost发现不到主的时候有用
--host="${masterIp}" \
--port=${masterPort} \
--database="${dbName}" \
--table="${tbName}" \
--alter="${alterSQL}" \
--timestamp-old-table \ # 在旧表名中使用时间戳。这会使旧表名称具有唯一且无冲突的交叉迁移
--initially-drop-ghost-table --execute
echo '----------------------END `date '+%Y-%m-%d %H:%M:%S'` ------------------------------------------'
参考链接
Triggerless design
gh-ost 在线 ddl 变更工具
gh-ost解析
gh-ost和pt-osc 的对比测试
gh-ost和pt-osc性能对比
网友评论