美文网首页
Redis数据结构与持久化详解

Redis数据结构与持久化详解

作者: Binary_r | 来源:发表于2020-11-27 23:40 被阅读0次

    一、概念

    redis是一款高性能的NOSQL系列的非关系型数据库。

    二、作用

    配合关系型数据库做高速缓存,缓存高频次访问的数据,降低数据库io

    三、数据结构

    键值对格式,key是字符串类型,value有5种类型:

    • 字符串类型 string
    • 哈希类型 hash : 类比于 Java里面的 Map<String,Map<String,Object>> 集合。
    • 列表类型 list : 类似linkList 格式,它的底层实际上是个链表
      特点:有序、可以重复
      典型使用场景
      栈:通过命令lpush + lpop
      队列:命令lpush + rpop
      有限集合:命令lpush + ltrim
      消息队列:命令lpush + brpop
    • 集合类型 set
      特点:无序、不可重复
      典型使用场景
      利用集合的交并集特性,比如在社交领域,我们可以很方便的求出多个用户的共同好友,共同感兴趣的领域等。
    • 有序集合类型 sortedset
      和set 数据类型一样,但是它是有序的
      典型使用场景
      zset也可以用于社交领域的相关业务,并且还可以利用zset 的有序特性,还可以做类似排行榜的业务。

    Redis基础类型语法命令

    三种特殊类型

    • Geo
      用于存储地址位置信息,并对这些信息进行操作
      典型使用场景
      微信中附近的人
    # 将给定的空间元素(纬度、经度、名字)添加到指定的键里面 
    geoadd
    # 从键里面返回所有给定位置元素的位置(经度和纬度)
    geopos
     # 返回两个给定位置之间的距离
    geodist
     # 以给定的经纬度为中心, 返回键包含的位置元素当中, 与中心的距离不超过给定最大距离的所有位置元素
    georadius
    georadiusbymember
    geohash
    
    • HyperLogLog 基数统计
      优势:占用内存固定12KB
      典型使用场景
      1、注册Ip数
      2、每日访问IP数
      3、在线用户数
      4、网站的UV
    PFADD databases "redis" "MongoDB" "MySQL"
    PFADD databases "redis" # 不能重复添加
    # 统计有多少个数
    PFCOUNT databases
    PFADD nosql "Redis" "MongoDB" "Memcached"
    # 对nosql和databases进行并集,同时去重复
    PFMERGE test databases nosql 
    PFCOUNT test
    
    • BitMap 位运算
      它是通过一个bit位来表示某个元素对应的值或者状态,其中的 key 就是对应元素本身,实际上底层也是通过对字符串的操作来实现
      典型使用场景
      记录用户的在线状态、打卡记录,只有0、1两种状态
    # 设置在线状态
    setBit online 0 1;
    # 设置离线状态
    setBit online 0 0;
    # 获取状态
    getBit online 0;
    # 获取在线人数
    bitCount online;
    
    setbit key offset value
    # offset必须是数字,value 是 0 或 1
    

    四、redis数据持久化

    1、持久化流程

    (1)客户端向服务端发送写操作(数据在客户端的内存中)。
    (2)数据库服务端接收到写请求的数据(数据在服务端的内存中)。
    (3)服务端调用write这个系统调用,将数据往磁盘上写(数据在系统内存的缓冲区中)。
    (4)操作系统将缓冲区中的数据转移到磁盘控制器上(数据在磁盘缓存中)。
    (5)磁盘控制器将数据写到磁盘的物理介质中(数据真正落到磁盘上)。

    2、RDB机制

    RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘。也是默认的持久化方式,这种方式是就是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb。
    三种触发机制:save、bgsave、自动化

    • save :该命令会阻塞当前Redis服务器,执行save命令期间,Redis不能处理其他命令,直到RDB过程完成为止
    • bgsave:Redis进程执行fork操作创建子进程,RDB持久化过程由子进程负责,完成后自动结束。阻塞只发生在fork阶段,一般时间很短
    • 自动触发 :自动触发是由我们的配置文件来完成的

    ①save:这里是用来配置触发 Redis的 RDB 持久化条件,也就是什么时候将内存中的数据保存到硬盘。比如“save m n”。表示m秒内数据集存在n次修改时,自动触发bgsave。
    默认如下配置:
    save 900 1表示900 秒内如果至少有 1 个 key 的值变化,则保存
    不需要持久化,那么你可以注释掉所有的 save 行来停用保存功能。

    ②stop-writes-on-bgsave-error :默认值为yes。当启用了RDB且最后一次后台保存数据失败,Redis是否停止接收数据。这会让用户意识到数据没有正确持久化到磁盘上,否则没有人会注意到灾难(disaster)发生了。如果Redis重启了,那么又可以重新开始接收数据了

    ③rdbcompression ;默认值是yes。对于存储到磁盘中的快照,可以设置是否进行压缩存储。

    ④rdbchecksum :默认值是yes。在存储快照后,我们还可以让redis使用CRC64算法来进行数据校验,但是这样做会增加大约10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能。

    ⑤dbfilename :设置快照的文件名,默认是 dump.rdb

    ⑥dir:设置快照文件的存放路径,这个配置项一定是个目录,而不能是文件名。

    RDB 的优势和劣势

    ①、优势
    (1)RDB文件紧凑,全量备份,非常适合用于进行备份和灾难恢复。
    (2)生成RDB文件的时候,redis主进程会fork()一个子进程来处理所有保存工作,主进程不需要进行任何磁盘IO操作。
    (3)RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。

    ②、劣势
    RDB快照是一次全量备份,存储的是内存数据的二进制序列化形式,存储上非常紧凑。当进行快照持久化时,会开启一个子进程专门负责快照持久化,子进程会拥有父进程的内存数据,父进程修改内存子进程不会反应出来,所以在快照持久化期间修改的数据不会被保存,可能丢失数据。

    3、AOF机制

    RDB 全量备份总是耗时的,有时候我们提供一种更加高效的方式AOF,工作机制很简单,redis会将每一个收到的写命令都通过write函数追加到文件中。通俗的理解就是日志记录。

    文件重写原理

    AOF的方式也同时带来了另一个问题。持久化文件会变的越来越大。为了压缩aof的持久化文件。redis提供了bgrewriteaof命令。将内存中的数据以命令的方式保存到临时文件中,同时会fork出一条新进程来将文件重写。

    重写aof文件的操作,并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件

    AOF也有三种触发机制

    (1)每修改同步always:同步持久化 每次发生数据变更会被立即记录到磁盘 性能较差但数据完整性比较好
    (2)每秒同步everysec:异步操作,每秒记录 如果一秒内宕机,有数据丢失
    (3)不同no:从不同步

    优点

    (1)AOF可以更好的保护数据不丢失,一般AOF会每隔1秒,通过一个后台线程执行一次fsync操作,最多丢失1秒钟的数据。
    (2)AOF日志文件没有任何磁盘寻址的开销,写入性能非常高,文件不容易破损。
    (3)AOF日志文件即使过大的时候,出现后台重写操作,也不会影响客户端的读写。
    (4)AOF日志文件的命令通过非常可读的方式进行记录,这个特性非常适合做灾难性的误删除的紧急恢复。比如某人不小心用flushall命令清空了所有数据,只要这个时候后台rewrite还没有发生,那么就可以立即拷贝AOF文件,将最后一条flushall命令给删了,然后再将该AOF文件放回去,就可以通过恢复机制,自动恢复所有数据

    缺点

    (1)对于同一份数据来说,AOF日志文件通常比RDB数据快照文件更大
    (2)AOF开启后,支持的写QPS会比RDB支持的写QPS低,因为AOF一般会配置成每秒fsync一次日志文件,当然,每秒一次fsync,性能也还是很高的

    4、如何选择持久化方案

    根据需求选择适合的持久化方案


    image.png

    相关文章

      网友评论

          本文标题:Redis数据结构与持久化详解

          本文链接:https://www.haomeiwen.com/subject/urdfwktx.html