基于Docker的postgresql主备部署文档

1 背景

目前项目的很多基础组件需要用到postgresql，且要求主从复制的部署方式.根据gitlab对postgres的要求,镜像采用官方postgres:10.12镜像.

2 环境

postgresql部署到专有云的ECS上.

10.129.8.212 部署主数据库
10.129.8.214 部署从数据库

3 安装部署

3.1 主服务器

1. docker拉取镜像

docker pull postgres:10.12

2. 启动容器

docker run -d --name kong-database \
-p 5432:5432 \
-e POSTGRES_PASSWORD=Qwer@1234 \
-v /home/work/data/postgres:/var/lib/postgresql/data \
postgres:10.12

-v : 建立数据卷，将 docker 内的文件系统挂载到宿主机上， linux 目录：/home/work/data/postgres, docker 容器对应的路径 /var/lib/postgresql/data

3. 进入启动的 docker 容器内部，新建用于归档日志的目录

docker exec -it kong-database /bin/bash
mkdir -p /var/lib/postgresql/data/pg_archive

4. 进入 postgres 客户端，新建用于同步数据的用户

# 切换到 postgres 用户
su postgres 
# 进去 postgres 客户端
psql
# 创建用户
CREATE ROLE replica login replication encrypted password 'replica';

注：注意语句最后添加分号
创建用户成功之后，控制台会显示 "CREATE ROLE"，利用 \du 命令可以查看 postgres 的用户列表

[图片上传失败...(image-cc7ae0-1586956407823)]
通过 \q 退出 postgres 控制台，并通过 exit 退出 postgres 用户

5. 修改 pg_hba.conf 文件

修改 pg_hba.conf 文件，允许刚创建的 replica 用户从 10.129.8.214 从服务器上连接主服务器。

vi /var/lib/postgresql/data/pg_hba.conf

如上显示 vi 命令没有安装，通过如下命令进行安装
_

apt-get update
apt-get install vim

安装成功之后，再次修改 pg_hba.conf 文件，进入最后部分，添加如下：

host   replication      replica       10.129.8.214/32          trust   #允许214机器使用 replica 用户来复制

6. 修改 postgresql.conf

listen_addresses = '*'   # 监听所有IP
archive_mode = on  # 允许归档
archive_command = 'cp %p /var/lib/postgresql/data/pg_archive/%f'  # 用该命令来归档logfile segment
wal_level = hot_standby #开启热备
max_wal_senders = 32 # 这个设置了可以最多有几个流复制连接，差不多有几个从，就设置几个
wal_keep_segments = 64 ＃ 设置流复制保留的最多的xlog数目，一份是 16M，注意机器磁盘 16M*64 = 1G
wal_sender_timeout = 60s ＃ 设置流复制主机发送数据的超时时间
max_connections = 100 # 这个设置要注意下，从库的max_connections必须要大于主库的

7. 重启容器

通过 exit 命令退出容器，并重启启动容器

docker restart kong-database

3.2 从服务器

1. 同样利用 docker 在 10.129.8.214 机器上新建一个 postgres 容器

docker run -d --name kong-database \
-p 5432:5432 \
-e POSTGRES_PASSWORD=Qwer@1234 \
-v /home/work/data/postgres:/var/lib/postgresql/data \
postgres:10.12

2. 拷贝主服务器数据

通过 docker exec -it kong-database /bin/bash 进入容器内部，拷贝主服务器数据

su postgres # 切换 postgres 用户
rm -rf /var/lib/postgresql/data/* # 清楚从库数据
pg_basebackup -h 192.168.14.187 -U replica -D /var/lib/postgresql/data -X stream -P
mkdir -p /var/lib/postgresql/data/pg_archive

执行完上述命令之后，容器自动退出
[图片上传失败...(image-ac34b7-1586956407823)]

切换到宿主机的 root 账户，进入 /home/work/data/postgres 目录。

3. 添加 recovery.conf 文件

通过 vi /home/work/data/postgres/recovery.conf添加恢复配置文件

standby_mode = on    # 说明该节点是从服务器
primary_conninfo = 'host=10.129.8.212 port=5432 user=replica password=replica'  # 主服务器的信息以及连接的用户
recovery_target_timeline = 'latest'

4. 修改 postgresql.conf

vi /home/work/data/postgres/postgresql.conf

wal_level = hot_standby
max_connections = 1000 ＃ 一般查多于写的应用从库的最大连接数要比较大
hot_standby = on ＃ 说明这台机器不仅仅是用于数据归档，也用于数据查询
max_standby_streaming_delay = 30s # 数据流备份的最大延迟时间
wal_receiver_status_interval = 10s # 多久向主报告一次从的状态，当然从每次数据复制都会向主报告状态，这里只是设置最长的间隔时间
hot_standby_feedback = on # 如果有错误的数据复制，是否向主进行反馈

5. 启动容器

通过 docker start kong-database 再次启动容器

4 校验主从部署

到 10.129.8.212主服务器地址上校验主从是否部署成功
通过 docker exec -it kong-database /bin/bash 进入容器内部

su postgres
psql
select client_addr,sync_state from pg_stat_replication;

得到如下结果则表示主从复制成功

postgres=# select client_addr,sync_state from pg_stat_replication;
  client_addr  | sync_state 
---------------+------------
 10.129.8.214 | async
(1 row)

如果还不放心,可以在主数据库中创建新表和插入数据,观察从服务器是否有复制过来,