redis数据持久化以及supervisor管理redis

supervisor管理redis

yum -y install epel-relase
yum -y install redis
yum -y install supervisor

supervisor的主配置文件:/etc/supervisor.d

[unix_http_server]
; socket文件的路径，supervisorctl用XML_RPC和supervisord通信就是
; 通过它进行的。如果不设置的话，supervisorctl也就不能用了 
file=/tmp/supervisor.sock
                               
; 启动时将UNIX域套接字的UNIX权限模式位更改为此值。
; 默认为0700。 非必须设置                           
;chmod=0700

; 将套接字文件的用户和组更改为此值。
; 默认为启动supervisord进程的用户及属组。非必须设置
;chown=nobody:nogroup 

; 此HTTP服务器验证所需的用户名
; 默认为不需要用户。 非必须设置
;username=user

; 此HTTP服务器验证所需的密码，可以是明文，也可以是哈希值
; 如：{SHA}82ab876d1387bfafe46cc1c8a2ef074eae50cb1d
; 请注意，散列的密码必须是十六进制格式。
; 默认：不需要密码, 非必须设置
;password=123             
           
           
           
; 侦听在TCP上的socket，Web Server和远程的supervisorctl都要用到
; 不设置的话，默认为不开启。非必须设置
;[inet_http_server] 

; 监控程序将侦听HTTP / XML-RPC请求的TCP主机端口值
;（例如127.0.0.1:9001）
; supervisorctl将使用XML-RPC 通过此端口与supervisord进行通信 。
; 要监听机器中的所有接口，请使用：9001或*：9001。
; 没有默认值， 只要 [inet_http_server] 开启了，就不许设置此项
;port=127.0.0.1:9001

; 下面两个和上面的uinx_http_server一个样。非必须设置
;username=user              
;password=123


; 这个部分主要是定义supervisord这个服务端进程的一些参数的
; 这个必须设置，不设置，supervisor 就不用干活了
[supervisord]               

; 这个是supervisord这个主进程的日志路径，注意和子进程的日志没关系。
; 默认路径$CWD/supervisord.log，非必须设置
logfile=/tmp/supervisord.log 
            
; 这个是上面那个日志文件的最大的大小，当超过50M的时候，会进行切割
; 当设置为0时，表示不限制文件大小
; 默认值是50M，非必须设置。
logfile_maxbytes=50MB
                               
; 日志文件保持的数量，上面的日志文件大于50M时，就会生成一个新文件
; 日志文件数量大于10时，最初的老文件被新文件覆盖，文件数量将保持为10
; 当设置为0时，表示不限制文件的数量
; 默认情况下为10，非必须设置
logfile_backups=10           
                               
; 日志级别，有critical, error, warn, info, debug, trace, or blather
; 请注意，在日志级别的 debug 中，supervisord日志文件将记录其子进程的
; stderr / stdout输出和关于进程状态更改的扩展信息信息，
; 这对于调试无法正常启动的进程很有用。
; 默认为info，非必须设置项
loglevel=info
          
; supervisord的pid文件路径
; 默认为$CWD/supervisord.pid，非必须设置
pidfile=/tmp/supervisord.pid 
              
; 如果是true，supervisord进程将在前台运行
; 默认为false，也就是后台以守护进程运行，非必须设置
nodaemon=false              

; 这个是最少系统空闲的文件描述符，低于这个值supervisor将不会启动。
; 查看系统的文件描述符 cat /proc/sys/fs/file-max
; 默认情况下为1024，非必须设置
minfds=1024
                               
; 最小可用的进程描述符，低于这个值supervisor也将不会正常启动。
; ulimit  -u这个命令，可以查看linux下面用户的最大进程数
; 默认为200，非必须设置
minprocs=200
                              
; 进程创建文件的掩码
; 默认为022，非必须设置项
;umask=022

; 这个参数可以设置一个非root用户，当我们以root用户启动supervisord之后，
; 当进行一些关键有意义的操作时候，会切换到此用户
; 我这里面设置的这个用户，也可以对supervisord进行管理
; 默认情况是不设置，非必须设置项
;user=chrism

; 这个参数是supervisord的标识符，主要是给XML_RPC用的。
; 当你有多个 supervisor的时候，而且想调用XML_RPC统一管理，
; 就需要为每个supervisor设置不同的标识符了
; 默认是supervisord。。。非必需设置
;identifier=supervisor

; 这个参数是当supervisord作为守护进程运行的时候，设置这个参数的话，
; 启动 supervisord 进程之前，会先切换到这个目录
; 默认不设置。。。非必须设置
;directory=/tmp              

; 这个参数当为false的时候，会在supervisord进程启动的时候，
; 把以前子进程产生的日志文件(路径为AUTO的情况下)清除掉。
; 有时候咱们想要看历史日志，当然不想日志被清除了。
; 所以可以设置为 true 
; 默认是false，有调试需求时可以设置为true非必须设置
;nocleanup=true

; 当子进程日志路径为AUTO的时候，子进程日志文件的存放路径。
;childlogdir=/tmp            

; 这个是用来设置环境变量的，supervisord在linux中启动默认继承了
; linux的环境变量，在这里可以设置supervisord进程特有的其他环境变量。
; supervisord启动子进程时，子进程会拷贝父进程的内存空间内容。
; 所以设置的这些环境变量也会被子进程继承。
; 小例子：environment=name="haha",age="hehe"
; 默认为不设置, 非必须设置
;environment=KEY="value"     
                               
; 这个选项如果设置为true，会清除子进程日志中的所有ANSI 序列。
; 什么是ANSI序列呢？就是我们的\n,\t这些东西。
; 默认为false。。。非必须设置                      
;strip_ansi=false            

; 这个选项是给XML_RPC用的，当然你如果想使用supervisord
; 或者web server 这个选项必须要开启的
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface 

;下面的部分主要是针对supervisorctl的一些配置 
[supervisorctl] 
; 这个是supervisorctl本地连接supervisord的时候，
; 本地UNIX socket 路径，注意这个是和前面的[unix_http_server]对应的。
; 默认值就是unix:///tmp/supervisor.sock, 非必须设置
serverurl=unix:///tmp/supervisor.sock

; 这个是supervisorctl远程连接supervisord的时候，
; 用到的TCP socket路径。
; 注意这个和前面的[inet_http_server]对应。
; 默认就是http://127.0.0.1:9001, 非必须项
;serverurl=http://127.0.0.1:9001 

 ; 用户名和密码
 ; 默认空, 非必须设置
;username=chris
;password=123

; 输入用户名密码时候的提示符
; 默认supervisor。。非必须设置
;prompt=mysupervisor

; 这个参数和shell中的history类似，我们可以用上下键来查找前面执行过的命令
; 默认是no file的, 所以我们想要有这种功能，必须指定一个文件, 
; 非必须设置
;history_file=~/.sc_history


; 这个就是要管理的子进程了，":"后面的是名字，最好别乱写和实际进程
; 有点关联最好。
; 这样的program我们可以设置一个或多个，
; 一个program就是要被管理的一个进程
;[program:theprogramname]      
               
; 这个就是我们的要启动进程的命令路径了，可以带参数
; 例子：/home/test.py -a 'hehe'
; 有一点需要注意的是，我们的command只能是那种运行与前台的进程，
; 不能是守护进程。这个想想也知道了，比如说:
; command=systemctl start httpd。
; httpd这个进程被linux的systemed管理了，我们的supervisor再去启动这个命令
                                这已经不是严格意义的子进程了。
                                这个是个必须设置的项
;command=/bin/cat

注意，配置文件的[include] files = supervisord.d/*.ini 注释打开

supervisor.d/redis.ini

[program:redis-6379]
command=/usr/bin/redis-server /etc/redis/6379.conf
priority=999                ; 优先级（越小越优先）
autostart=true              ; supervisord启动时，该程序也启动
autorestart=true            ; 异常退出时，自动启动
startsecs=10                ; 启动后持续10s后未发生异常，才表示启动成功
startretries=3              ; 异常后，自动重启次数
exitcodes=0,2               ; exit异常抛出的是0、2时才认为是异常
stopsignal=QUIT             ; 杀进程的信号

; 在程序发送stopignal后，等待操作系统将SIGCHLD返回给supervisord的秒数。
; 如果在supervisord从进程接收到SIGCHLD之前经过了这个秒数，
; supervisord将尝试用最终的SIGKILL杀死它
stopwaitsecs=1
user=root                   ; 设置启动该程序的用户
log_stdout=true             ; 如果为True，则记录程序日志
log_stderr=false            ; 如果为True，则记录程序错误日志
logfile=/var/log/redis-6379.log    ; 程序日志路径
logfile_maxbytes=1MB        ; 日志文件最大大小
logfile_backups=10          ; 日志文件最大数量

由于在一个机器上可以启多个redis进程，因此可以将配置文件以端口号的形式保存

supervisorctl 的两种执行方法

• supervisorctl ,进入supervisor的终端，status(管理的服务的状态)，start redis-6379(启动redis进程，在.ini文件中定义),restart(重启)，stop(停止)

• supervisor status 同样是获得被管理进程的状态。其他参数与上面相同

redis数据持久化

1. 持久化存储的方式介绍

Redis 分别提供了 RDB 和 AOF 两种持久化机制：

• RDB 将数据库的快照（snapshot）以二进制的方式保存到磁盘中。
• AOF 则以协议文本的方式，将所有对数据库进行过写入的命令（及其参数）记录到 AOF 文件，以此达到记录数据库状态的目的。

2.RDB

原理：

RDB

触发RDB的两种方法

• save
  主动执行 save 命令（同步，阻塞 ，就是save 命令执行完毕后才能执行后续的其他命令操作）

  
  image.png
  image.png
  

  当然，每次创建新的文件，并且替换原来旧文件（假如存在旧的文件）

• bgsave

  
  image.png
  

  当然，bgsave也是每次创建新的文件，并且替换原来旧文件（假如存在旧的文件）

• 配置文件修改，设置查看时间并且设置改变条数
  自动触发，就是通过对 Redis 的配置文件重相关选项的修改，当达到某个配置好的条件后，自动生成 RDB 文件，其内部使用的是 bgsave 命令。

save 900  #每隔 900 秒检查一次，假如至少有 1 条数据改变，就生成新的 RDB 文件
save 300 10  #每隔 300 秒检查一次，假如至少有 10 条数据改变，就生成新的 RDB 文件
save 60 10000 #每隔 60 秒检查一次，假如至少有 10000 条数据改变，就生成新的 RDB 文件

redis配置文件部分命令解释

默认文件名
dbfilename dump.rdb

默认文件保存位置
dir ./

假如 bgsave 执行中发生错误，是否停止写入，默认是 yes ， 表示假如出错，就停止写入。
stop-writes-on-bgsave-error yes

是否使用压缩|
rdbcompression yes

是否进行数据的校验
rdbchecksum yes

最好的方法就是关闭自动持久化，使用bgsave手动持久化

3.AOF

Redis 目前支持三种 AOF 保存模式，它们分别是：

• AOF_FSYNC_NO ：不保存。
• AOF_FSYNC_EVERYSEC ：每一秒钟保存一次。(生产中一般选这种)
• AOF_FSYNC_ALWAYS ：每执行一个命令保存一次

不保存

在这种模式下， SAVE(引起redis主进程的阻塞)只会在以下任意一种情况中被执行：

• Redis 被关闭
• AOF 功能被关闭
• 系统的写缓存被刷新（可能是缓存已经被写满，或者定期保存操作被执行）

每执行一个命令保存一次

在这种模式下，每次执行完一个命令之后， WRITE 和 SAVE 都会被执行。
另外，因为 SAVE 是由 Redis 主进程执行的，所以在 SAVE 执行期间，主进程会被阻塞，不能接受命令请求。

AOF 三种保存模式的比较

因为阻塞操作会让 Redis 主进程无法持续处理请求， 所以一般说来， 阻塞操作执行得越少、完成得越快， Redis 的性能就越好。

• 模式 1 的保存操作只会在AOF 关闭或 Redis 关闭时执行， 或者由操作系统触发， 在一般情况下， 这种模式只需要为写入阻塞， 因此它的写入性能要比后面两种模式要高， 当然， 这种性能的提高是以降低安全性为代价的： 在这种模式下， 如果运行的中途发生停机， 那么丢失数据的数量由操作系统的缓存冲洗策略决定。

• 模式 2 在性能方面要优于模式 3 ， 并且在通常情况下， 这种模式最多丢失不多于 2 秒的数据， 所以它的安全性要高于模式 1 ， 这是一种兼顾性能和安全性的保存方案。

• 模式 3 的安全性是最高的， 但性能也是最差的， 因为服务器必须阻塞直到命令信息被写入并保存到磁盘之后， 才能继续处理请求。

image.png

AOF 方式下的数据还原

Redis 读取 AOF 文件并还原数据库的详细步骤如下：

创建一个不带网络连接的伪客户端（fake client）。
读取 AOF 所保存的文本，并根据内容还原出命令、命令的参数以及命令的个数。
根据命令、命令的参数和命令的个数，使用伪客户端执行该命令。
执行 2 和 3 ，直到 AOF 文件中的所有命令执行完毕。
完成第 4 步之后， AOF 文件所保存的数据库就会被完整地还原出来。

注意， 因为 Redis 的命令只能在客户端的上下文中被执行， 而 AOF 还原时所使用的命令来自于 AOF 文件， 而不是网络， 所以程序使用了一个没有网络连接的伪客户端来执行命令。

当程序读入这个 AOF 文件时， 它首先执行 SELECT 0 命令 —— 这个 SELECT 命令是由 AOF 写入程序自动生成的， 它确保程序可以将数据还原到正确的数据库上。

注意：
为了避免对数据的完整性产生影响， 在服务器载入数据的过程中， 只有和数据库无关的订阅与发布功能可以正常使用， 其他命令一律返回错误。

AOF备份格式

*2      #下面的命令分为及部分,下面的命令为select 0 
$6      #下面的一个部分有几个字母，其他同理
SELECT
$1
0
*3
$3
SET
$4
name
$6
rourou

AOF重写机制

AOF 文件通过同步 Redis 服务器所执行的命令， 从而实现了数据库状态的记录， 但是， 这种同步方式会造成一个问题： 随着运行时间的流逝， AOF 文件会变得越来越大。

• 对同一个键的状态的多次不同操作，而最终得到一个结果。比如对列表的添加删除元素。
• 被频繁操作的键。比如累加

AOF 重写的实现方式

image.png image.png

aof_current_size 和 aof_base_size 可以通过命令 info persistence 查看到

重写流程图

image.png

3.1)在重写期间，由于主进程依然在响应命令，为了保证最终备份的完整性；因此它依然会写入旧的AOF file中，如果重写失败，能够保证数据不丢失。当然这个是可以通过配置来决定在重写期间是否进行主进程普通的 AOF 操作。
3.2)为了把重写期间响应的写入信息也写入到新的文件中，因此也会为子进程保留一个buf，防止新写的file丢失数据。
4)重写是直接把当前内存的数据生成对应命令，并不需要读取老的AOF文件进行分析、命令合并。
AOF文件直接采用的文本协议，主要是兼容性好、追加方便、可读性高可认为修改修复。

注意：无论是RDB还是AOF都是先写入一个临时文件，然后通过 rename 完成文件的替换工作。

配置文件

// 要想使用 AOF 的全部功能，需要设置为  yes
appendonly yes

// AOF 文件名，路径才看之前的 `dir` 配置项
appendfilename "appendonly.aof"

// 平常普通的 AOF 的策略
appendfsync everysec


// 当执行 AOF 重写时，是否继续执行平常普通的 AOF 操作。
// 这里设置文件  yes , 表示不执行
// 因为假如，同时执行，两种操作都会对磁盘 I/O 进行访问，造成
// I/O 访问量过大，产生性能衰减
no-appendfsync-on-rewrite yes

// AOF 文件容量的增长率
auto-aof-rewrite-percentage 100

// AOF 文件的最低容量，就是当前文件的大小大于此值时，就会进行重写。当然这只是其中一个条件。
auto-aof-rewrite-min-size 64mb

在命令行中设置，以便立即执行

127.0.0.1:6379> config get appendonly
1) "appendonly"
2) "no"
127.0.0.1:6379> config set appendonly yes
OK
127.0.0.1:6379> config get appendonly
1) "appendonly"
2) "yes"

执行命令触发重写机制

BGREWRITEAOF

image.png

Ps:

启动redis服务：redis-server会占终端
因此才会使用supervisor管理redis进程，但是可以新开一个终端然后使用redis-cli进行连接
当然还可以通过修改配置文件的方式来实现后台运行，daemonize no ，重新启动redis即可使redis在后台运行