美文网首页程序员
互联网企业:超详细的Redis笔记,十分钟搞定

互联网企业:超详细的Redis笔记,十分钟搞定

作者: 套马杆的程序员 | 来源:发表于2020-11-26 16:44 被阅读0次

    Redis简介:

    Redis 是完全开源免费的,遵守 BSD 协议,是一个高性能的 key - value 数据库。

    Redis的全称是 Remote Dictionary Server,它是一款开源的高性能的NoSQL数据库,它可以用作数据库缓存消息队列

    Redis 与 其他 key - value 缓存产品有以下三个特点:

    • Redis 支持数据持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
    • Redis 不仅仅支持简单的 key - value 类型的数据,同时还提供 list,set,zset,hash 等数据结构的存储
    • Redis 支持数据的备份,即 master - slave 模式的数据备份

    Redis优势:

    • 性能极高 – Redis 读的速度是 110000 次 /s, 写的速度是 81000 次 /s 。
    • 丰富的数据类型 - Redis 支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
    • 原子性 - Redis 的所有操作都是原子性的,意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务,即原子性,通过 MULTI 和 EXEC 指令包起来。
    • 其他特性 - Redis 还支持 publish/subscribe 通知,key 过期等特性。

    NoSQL

    NoSQL 最常见的解释是 non-relational,非关系型数据库,还有一种说法是 Not Only SQL,不仅仅是 SQL,NoSQL 仅仅是一个概念,泛指非关系型的数据库,区别于关系数据库,它们不保证关系数据的 ACID 特性。ACID 即

    • A (Atomicity) 原子性
    • C (Consistency) 一致性
    • I (Isolation) 独立性
    • D (Durability) 持久性

    Redis 通过提供多种键值对的数据类型来适应不同场景下的存储需求。

    Redis 数据类型及主要应用场景:

    image

    关于上表中的部分释义:

    1. 压缩列表是列表键和哈希键的底层实现之一。
      当一个列表键只包含少量列表项,并且每个列表项要么就是小整数,要么就是长度比较短的字符串,Redis就会使用压缩列表来做列表键的底层实现
    2. 整数集合是集合键的底层实现之一,当一个集合只包含整数值元素,并且这个集合的元素数量不多时,Redis就会使用整数集合作为集合键的底层实现
    • 字符串 - strings

    string 字符串 是 Redis 中最简单的数据类型,它是与 Memcached 一样的类型,一个 key 对应一个 value,这种 key/value 对应的方式称为键值对。字符串对很多例子都有用,例如缓存 HTML 片段和网页。

    • 集合 - set

    set 是集合,和我们数学中的集合概念相似,对集合的操作有添加删除元素,有对多个集合求交并差等操作。操作中 key 理解为集合的名字。

    • 散列 - hash

    hash 是一个键值 (key=>value) 对集合;是一个 string 类型的 field 和 value 的映射表,hash 特别适合用于存储对象。

    • 列表 - list

    Redis 列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部(左边)或者尾部(右边)。list类型经常会被用于消息队列的服务,以完成多程序之间的消息交换。

    • 有序集合 - zset

    Redis zset 和 set 一样也是 string 类型元素的集合,且不允许重复的成员。当你需要一个有序的并且不重复的集合列表时,那么可以选择 sorted set 数据结构。

    应用场景:

    Redis 的应用场景包括:缓存系统(“热点”数据:高频读、低频写)、计数器、消息队列系统、排行榜、社交网络和实时系统。

    [图片上传失败...(image-2d6283-1606379864088)]

    Redis常用命令

    常用管理命令

    1、启动Redis

    > redis-server [--port 6379]
    
    

    如果命令参数过多,建议通过配置文件来启动Redis。

    > redis-server [xx/xx/redis.conf]
    
    

    6379是Redis默认端口号。

    2、连接Redis

    > ./redis-cli [-h 127.0.0.1 -p 6379]
    
    

    3、停止Redis

    > redis-cli shutdown
    
    > kill redis-pid
    
    

    以上两条停止Redis命令效果一样。

    4、发送命令

    给Redis发送命令有两种方式:

    1、redis-cli带参数运行,如:

    > redis-cli shutdown
    not connected> 
    
    

    这样默认是发送到本地的6379端口。

    2、redis-cli不带参数运行,如:

    > ./redis-cli
    
    127.0.0.1:6379> shutdown
    not connected> 
    
    

    5、测试连通性

    127.0.0.1:6379> ping
    PONG
    
    

    key操作命令

    获取所有键

    语法:keys pattern

    127.0.0.1:6379> keys *
    1) "javastack"
    
    
    • *表示通配符,表示任意字符,会遍历所有键显示所有的键列表,时间复杂度O(n),在生产环境不建议使用。

    获取键总数

    语法:dbsize

    127.0.0.1:6379> dbsize
    (integer) 6
    
    

    获取键总数时不会遍历所有的键,直接获取内部变量,时间复杂度O(1)。

    查询键是否存在

    语法:exists key [key …]

    127.0.0.1:6379> exists javastack java
    (integer) 2
    
    

    查询查询多个,返回存在的个数。

    删除键

    语法:del key [key …]

    127.0.0.1:6379> del java javastack
    (integer) 1
    
    

    可以删除多个,返回删除成功的个数。

    查询键类型

    语法: type key

    127.0.0.1:6379> type javastack
    string
    
    

    移动键

    语法:move key db

    如把javastack移到2号数据库。

    127.0.0.1:6379> move javastack 2
    (integer) 1
    127.0.0.1:6379> select 2
    OK
    127.0.0.1:6379[2]> keys *
    1) "javastack"
    
    

    查询key的生命周期(秒)

    秒语法:ttl key
    毫秒语法:pttl key

    127.0.0.1:6379[2]> ttl javastack
    (integer) -1
    
    

    -1:永远不过期。

    设置过期时间

    秒语法:expire key seconds
    毫秒语法:pexpire key milliseconds

    127.0.0.1:6379[2]> expire javastack 60
    (integer) 1
    127.0.0.1:6379[2]> ttl javastack
    (integer) 55
    
    

    设置永不过期

    语法:persist key

    127.0.0.1:6379[2]> persist javastack
    (integer) 1
    
    

    更改键名称

    语法:rename key newkey

    127.0.0.1:6379[2]> rename javastack javastack123
    OK
    
    

    字符串操作命令

    字符串是Redis中最基本的数据类型,单个数据能存储的最大空间是512M。

    存放键值

    语法:set key value [EX seconds] [PX milliseconds] [NX|XX]

    nx:如果key不存在则建立,xx:如果key存在则修改其值,也可以直接使用setnx/setex命令。

    127.0.0.1:6379> set javastack 666
    OK
    
    

    获取键值

    语法:get key

    127.0.0.1:6379[2]> get javastack
    "666"
    
    

    值递增/递减

    如果字符串中的值是数字类型的,可以使用incr命令每次递增,不是数字类型则报错。

    语法:incr key

    127.0.0.1:6379[2]> incr javastack
    (integer) 667
    
    

    一次想递增N用incrby命令,如果是浮点型数据可以用incrbyfloat命令递增。

    同样,递减使用decr、decrby命令。

    批量存放键值

    语法:mset key value [key value …]

    127.0.0.1:6379[2]> mset java1 1 java2 2 java3 3
    OK
    
    

    获取获取键值

    语法:mget key [key …]

    127.0.0.1:6379[2]> mget java1 java2
    1) "1"
    2) "2"
    
    

    Redis接收的是UTF-8的编码,如果是中文一个汉字将占3位返回。

    获取值长度

    语法:strlen key
    127.0.0.1:6379[2]> strlen javastack
    (integer) 3

    追加内容

    语法:append key value

    127.0.0.1:6379[2]> append javastack hi
    (integer) 5
    
    

    向键值尾部添加,如上命令执行后由666变成666hi

    获取部分字符

    语法:getrange key start end

    > 127.0.0.1:6379[2]> getrange javastack 0 4
    "javas"
    
    

    集合操作命令

    集合类型和列表类型相似,只不过是集合是无序且不可重复的。

    集合

    存储值

    语法:sadd key member [member …]

    // 这里有8个值(2个java),只存了7个
    127.0.0.1:6379> sadd langs java php c++ go ruby python kotlin java
    (integer) 7
    
    

    获取元素

    获取所有元素语法:smembers key

    127.0.0.1:6379> smembers langs
    1) "php"
    2) "kotlin"
    3) "c++"
    4) "go"
    5) "ruby"
    6) "python"
    7) "java"
    
    

    随机获取语法:srandmember langs count

    127.0.0.1:6379> srandmember langs 3
    1) "c++"
    2) "java"
    3) "php"
    
    

    判断集合是否存在元素

    语法:sismember key member

    127.0.0.1:6379> sismember langs go
    (integer) 1
    
    

    获取集合元素个数

    语法:scard key

    127.0.0.1:6379> scard langs
    (integer) 7
    
    

    删除集合元素

    语法:srem key member [member …]

    127.0.0.1:6379> srem langs ruby kotlin
    (integer) 2
    
    

    弹出元素

    语法:spop key [count]

    127.0.0.1:6379> spop langs 2
    1) "go"
    2) "java"
    
    

    有序集合

    和列表的区别:

    1、列表使用链表实现,两头快,中间慢。有序集合是散列表和跳跃表实现的,即使读取中间的元素也比较快。

    2、列表不能调整元素位置,有序集合能。

    3、有序集合比列表更占内存。

    存储值

    语法:zadd key [NX|XX] [CH] [INCR] score member [score member …]

    127.0.0.1:6379> zadd footCounts 16011 tid 20082 huny 2893 nosy
    (integer) 3
    
    

    获取元素分数

    语法:zscore key member

    127.0.0.1:6379> zscore footCounts tid
    "16011"
    
    

    获取排名范围排名语法:zrange key start stop [WITHSCORES]

    // 获取所有,没有分数
    127.0.0.1:6379> zrange footCounts 0 -1
    1) "nosy"
    2) "tid"
    3) "huny"
    
    // 获取所有及分数
    127.0.0.1:6379> zrange footCounts 0 -1 Withscores
    1) "nosy"
    2) "2893"
    3) "tid"
    4) "16011"
    5) "huny"
    6) "20082"
    
    

    获取指定分数范围排名语法:zrangebyscore key min max [WITHSCORES] [LIMIT offset count]

    127.0.0.1:6379> zrangebyscore footCounts 3000 30000 withscores limit 0 1
    1) "tid"
    2) "16011"
    
    

    增加指定元素分数

    语法:zincrby key increment member

    127.0.0.1:6379> zincrby footCounts 2000 tid
    "18011"
    
    

    获取集合元素个数

    语法:zcard key

    127.0.0.1:6379> zcard footCounts
    (integer) 3
    
    

    获取指定范围分数个数

    语法:zcount key min max

    127.0.0.1:6379> zcount footCounts 2000 20000
    (integer) 2
    
    

    删除指定元素

    语法:zrem key member [member …]

    127.0.0.1:6379> zrem footCounts huny
    (integer) 1
    
    

    获取元素排名

    语法:zrank key member

    127.0.0.1:6379> zrank footCounts tid
    (integer) 1
    
    

    列表操作命令

    列表类型是一个有序的字段串列表,内部是使用双向链表实现,所有可以向两端操作元素,获取两端的数据速度快,通过索引到具体的行数比较慢。

    列表类型的元素是有序且可以重复的。

    存储值

    左端存值语法:lpush key value [value …]

    127.0.0.1:6379> lpush list lily sandy
    (integer) 2
    
    

    右端存值语法:rpush key value [value …]

    127.0.0.1:6379> rpush list tom kitty
    (integer) 4
    
    

    索引存值语法:lset key index value

    127.0.0.1:6379> lset list 3 uto
    OK
    
    

    弹出元素

    左端弹出语法:lpop key

    127.0.0.1:6379> lpop list
    "sandy"
    
    

    右端弹出语法:rpop key

    127.0.0.1:6379> rpop list
    "kitty"
    
    

    获取元素个数

    语法:llen key

    127.0.0.1:6379> llen list
    (integer) 2
    
    

    获取列表元素

    两边获取语法:lrange key start stop

    127.0.0.1:6379> lpush users tom kitty land pony jack maddy
    (integer) 6
    
    127.0.0.1:6379> lrange users 0 3
    1) "maddy"
    2) "jack"
    3) "pony"
    4) "land"
    
    // 获取所有
    127.0.0.1:6379> lrange users 0 -1
    1) "maddy"
    2) "jack"
    3) "pony"
    4) "land"
    5) "kitty"
    6) "tom"
    
    // 从右端索引
    127.0.0.1:6379> lrange users -3 -1
    1) "land"
    2) "kitty"
    3) "tom"
    
    

    索引获取语法:lindex key index

    127.0.0.1:6379> lindex list 2
    "ketty"
    
    // 从右端获取
    127.0.0.1:6379> lindex list -5
    "sady"
    
    

    删除元素

    根据值删除语法:lrem key count value

    127.0.0.1:6379> lpush userids 111 222 111 222 222 333 222 222
    (integer) 8
    
    // count=0 删除所有
    127.0.0.1:6379> lrem userids 0 111
    (integer) 2
    
    // count > 0 从左端删除前count个
    127.0.0.1:6379> lrem userids 3 222
    (integer) 3
    
    // count < 0 从右端删除前count个
    127.0.0.1:6379> lrem userids -3 222
    (integer) 2
    
    

    范围删除语法:ltrim key start stop

    // 只保留2-4之间的元素
    127.0.0.1:6379> ltrim list 2 4
    OK
    
    

    散列操作命令

    redis字符串类型键和值是字典结构形式,这里的散列类型其值也可以是字典结构。

    存放键值

    单个语法:hset key field value

    127.0.0.1:6379> hset user name javastack
    (integer) 1
    
    

    多个语法:hmset key field value [field value …]

    127.0.0.1:6379> hmset user name javastack age 20 address china
    OK
    
    

    不存在时语法:hsetnx key field value

    127.0.0.1:6379> hsetnx user tall 180
    (integer) 0
    
    

    获取字段值

    单个语法:hget key field

    127.0.0.1:6379> hget user age
    "20"
    
    

    多个语法:hmget key field [field …]

    127.0.0.1:6379> hmget user name age address
    1) "javastack"
    2) "20"
    3) "china"
    
    

    获取所有键与值语法:hgetall key

    127.0.0.1:6379> hgetall user
    1) "name"
    2) "javastack"
    3) "age"
    4) "20"
    5) "address"
    6) "china"
    
    

    获取所有字段语法:hkeys key

    127.0.0.1:6379> hkeys user
    1) "name"
    2) "address"
    3) "tall"
    4) "age"
    
    

    获取所有值语法:hvals key

    127.0.0.1:6379> hvals user
    1) "javastack"
    2) "china"
    3) "170"
    4) "20"
    
    

    判断字段是否存在

    语法:hexists key field

    127.0.0.1:6379> hexists user address
    (integer) 1
    
    

    获取字段数量

    语法:hlen key

    127.0.0.1:6379> hlen user
    (integer) 4
    
    

    递增/减

    语法:hincrby key field increment

    127.0.0.1:6379> hincrby user tall -10
    (integer) 170
    
    

    删除字段

    语法:hdel key field [field …]

    127.0.0.1:6379> hdel user age
    (integer) 1
    

    Redis 安装

    Redis 支持在 Linux、OS X 、BSD 等 POSIX 系统中安装,也支持在 Windows 中安装,在 Windows 、Linux 下的安装

    事务

    redis 事务一次可以执行多条命令,服务器在执行命令期间,不会去执行其他客户端的命令请求。

    事务中的多条命令被一次性发送给服务器,而不是一条一条地发送,这种方式被称为流水线,它可以减少客户端与服务器之间的网络通信次数从而提升性能。

    Redis 最简单的事务实现方式是使用 MULTI 和 EXEC 命令将事务操作包围起来。

    • 批量操作在发送 EXEC 命令前被放入队列缓存。
    • 收到 EXEC 命令后进入事务执行,事务中任意命令执行失败,其余命令依然被执行。也就是说 Redis 事务不保证原子性。
    • 在事务执行过程中,其他客户端提交的命令请求不会插入到事务执行命令序列中。

    一个事务从开始到执行会经历以下三个阶段:

    • 开始事务。
    • 命令入队。
    • 执行事务。

    实例

    以下是一个事务的例子, 它先以 MULTI 开始一个事务, 然后将多个命令入队到事务中, 最后由 EXEC 命令触发事务, 一并执行事务中的所有命令:

    redis 127.0.0.1:6379> MULTI
    OK
    redis 127.0.0.1:6379> SET book-name "Mastering C++ in 21 days"
    QUEUED
    redis 127.0.0.1:6379> GET book-name
    QUEUED
    redis 127.0.0.1:6379> SADD tag "C++" "Programming" "Mastering Series"
    QUEUED
    redis 127.0.0.1:6379> SMEMBERS tag
    QUEUED
    redis 127.0.0.1:6379> EXEC
    1) OK
    2) "Mastering C++ in 21 days"
    3) (integer) 3
    4) 1) "Mastering Series"
     2) "C++"
     3) "Programming"
    
    

    单个 Redis 命令的执行是原子性的,但 Redis 没有在事务上增加任何维持原子性的机制,所以 Redis 事务的执行并不是原子性的。

    事务可以理解为一个打包的批量执行脚本,但批量指令并非原子化的操作,中间某条指令的失败不会导致前面已做指令的回滚,也不会造成后续的指令不做。

    这是官网上的说明 From redis docs on transactions:
    It's important to note that even when a command fails, all the other commands in the queue are processed – Redis will not stop the processing of commands.

    比如:

    redis 127.0.0.1:7000> multi
    OK
    redis 127.0.0.1:7000> set a aaa
    QUEUED
    redis 127.0.0.1:7000> set b bbb
    QUEUED
    redis 127.0.0.1:7000> set c ccc
    QUEUED
    redis 127.0.0.1:7000> exec
    1) OK
    2) OK
    3) OK
    
    

    如果在 set b bbb 处失败,set a 已成功不会回滚,set c 还会继续执行。

    Redis 事务命令

    下表列出了 redis 事务的相关命令:

    序号命令及描述1DISCARD 取消事务,放弃执行事务块内的所有命令。2EXEC 执行所有事务块内的命令。3MULTI 标记一个事务块的开始。4UNWATCH 取消 WATCH 命令对所有 key 的监视。5WATCH key [key ...] 监视一个 (或多个) key ,如果在事务执行之前这个 (或这些) key 被其他命令所改动,那么事务将被打断。

    持久化

    Redis 是内存型数据库,为了保证数据在断电后不会丢失,需要将内存中的数据持久化到硬盘上。

    RDB 持久化

    将某个时间点的所有数据都存放到硬盘上。

    可以将快照复制到其他服务器从而创建具有相同数据的服务器副本。

    如果系统发生故障,将会丢失最后一次创建快照之后的数据。

    如果数据量大,保存快照的时间会很长。

    AOF 持久化

    将写命令添加到 AOF 文件(append only file)末尾。

    使用 AOF 持久化需要设置同步选项,从而确保写命令 同步到磁盘文件上的时机。这是因为对文件进行写入并不会马上将内容同步到磁盘上,而是先存储到缓冲区,然后由操作系统决定什么时候同步到磁盘。

    选项同步频率always每个写命令都同步eyerysec每秒同步一次no让操作系统来决定何时同步

    • always 选项会严重减低服务器的性能
    • everysec 选项比较合适,可以保证系统崩溃时只会丢失一秒左右的数据,并且 Redis 每秒执行一次同步对服务器几乎没有任何影响。
    • no 选项并不能给服务器性能带来多大的提升,而且会增加系统崩溃时数据丢失的数量。

    随着服务器写请求的增多,AOF 文件会越来越大。Redis 提供了一种将 AOF 重写的特性,能够去除 AOF 文件中的冗余写命令。

    复制

    通过使用 slaveof host port 命令来让一个服务器成为另一个服务器的从服务器。

    一个从服务器只能有一个主服务器,并且不支持主主复制。

    连接过程

    1. 主服务器创建快照文件,即 RDB 文件,发送给从服务器,并在发送期间使用缓冲区记录执行的写命令。快照文件发送完毕之后,开始像从服务器发送存储在缓冲区的写命令。
    2. 从服务器丢弃所有旧数据,载入主服务器发来的快照文件,之后从服务器开始接受主服务器发来的写命令。
    3. 主服务器每执行一次写命令,就向从服务器发送相同的写命令。

    主从链

    随着负载不断上升,主服务器无法很快的更新所有从服务器,或者重新连接和重新同步从服务器将导致系统超载。为了解决这个问题,可以创建一个中间层来分担主服务器的复制工作。中间层的服务器是最上层服务器的从服务器,又是最下层服务器的主服务器。

    哨兵

    Sentinel(哨兵)可以监听集群中的服务器,并在主服务器进入下线状态时,自动从从服务器中选举处新的主服务器。

    分片

    分片是将数据划分为多个部分的方法,可以将数据存储到多台机器里面,这种方法在解决某些问题时可以获得线性级别的性能提升。

    假设有 4 个 Redis 实例 R0, R1, R2, R3, 还有很多表示用户的键 user:1, user:2, ... , 有不同的方式来选择一个指定的键存储在哪个实例中。

    • 最简单的是范围分片,例如用户 id 从 0 ~ 1000 的存储到实例 R0 中,用户 id 从 1001 ~ 2000 的存储到实例 R1中,等等。但是这样需要维护一张映射范围表,维护操作代价高。
    • 还有一种是哈希分片。使用 CRC32 哈希函数将键转换为一个数字,再对实例数量求模就能知道存储的实例。

    根据执行分片的位置,可以分为三种分片方式:

    • 客户端分片:客户端使用一致性哈希等算法决定应当分布到哪个节点。
    • 代理分片:将客户端的请求发送到代理上,由代理转发到正确的节点上。
    • 服务器分片:Redis Cluster。

    相关文章

      网友评论

        本文标题:互联网企业:超详细的Redis笔记,十分钟搞定

        本文链接:https://www.haomeiwen.com/subject/iicziktx.html