redis 介绍
Redis是一款内存高速缓存数据库。该软件使用C语言编写,Redis是一个key-value存储系统,基于内存,它支持丰富的数据类型,如:string、list、set、zset(sorted set)、hash。
为什么使用redis
速度快,完全基于内存,使用C语言实现,网络层使用epoll解决高并发问题,单线程模型避免了不必要的上下文切换及竞争条件;
注意:单线程仅仅是说在网络请求这一模块上用一个请求处理客户端的请求,像持久化它就会重开一个线程/进程去进行处理
丰富的数据类型,Redis有8种数据类型,当然常用的主要是 String、Hash、List、Set、 SortSet 这5种类型,他们都是基于键值的方式组织数据。每一种数据类型提供了非常丰富的操作命令,可以满足绝大部分需求,如果有特殊需求还能自己通过 lua 脚本自己创建新的命令(具备原子性);
基于性能:
我们在碰到需要执行耗时特别久,且结果不频繁变动的SQL,就特别适合将运行结果放入缓存。这样,后面的请求就去缓存中读取,使得请求能够迅速响应。
并发:
在大并发的情况下,所有的请求直接访问数据库,数据库会出现连接异常。这个时候,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问数据库。
使用redis有什么缺点
[1] 缓存和数据库双写一致性问题
[2] 缓存雪崩问题
[3] 缓存击穿问题
[4] 缓存的并发竞争问题
单线程的redis为什么这么快
(一)纯内存操作
(二)单线程操作,避免了频繁的上下文切换
(三)采用了非阻塞I/O多路复用机制(下面重点介绍)
简单来说,就是。我们的redis-client在操作的时候,会产生具有不同事件类型的socket。在服务端,有一段I/0多路复用程序,将其置入队列之中。然后,文件事件分派器,依次去队列中取,转发到不同的事件处理器中。
redis的过期策略以及内存淘汰机制
redis采用的是定期删除+惰性删除策略。
为什么不用定时删除策略?
定时删除,用一个定时器来负责监视key,过期则自动删除。虽然内存及时释放,但是十分消耗CPU资源。在大并发请求下,CPU要将时间应用在处理请求,而不是删除key,因此没有采用这一策略.
定期删除+惰性删除是如何工作的呢?
定期删除,redis默认每个100ms检查,是否有过期的key,有过期key则删除。需要说明的是,redis不是每个100ms将所有key检查一次,而是随机抽取进行检查(如果每隔100ms,全部key进行检查,redis岂不是卡死)。因此,如果只采用定期删除策略,会导致很多key到时间没有删除。于是,惰性删除派上用场。也就是说在你获取某个key的时候,redis会检查一下,这个key如果设置了过期时间那么是否过期了?如果过期了此时就会删除。
采用定期删除+惰性删除就没其他问题了么?
不是的,如果定期删除没删除key。然后你也没即时去请求key,也就是说惰性删除也没生效。这样,redis的内存会越来越高。那么就应该采用内存淘汰机制。
在redis.conf中有一行配置: # maxmemory-policy volatile-lru 该配置就是配内存淘汰策略的
redis和数据库双写一致性问题
分析:一致性问题是分布式常见问题,还可以再分为最终一致性和强一致性。数据库和缓存双写,就必然会存在不一致的问题。答这个问题,先明白一个前提,就是如果对数据有强一致性要求,不能放缓存。我们所做的一切,只能保证最终一致性。另外,我们所做的方案其实从根本上来说,只能说降低不一致发生的概率,无法完全避免。因此,有强一致性要求的数据,不能放缓存。
首先,采取正确更新策略,先更新数据库,再删缓存。其次,因为可能存在删除缓存失败的问题,提供一个补偿措施即可,例如利用消息队列。
如何应对缓存穿透和缓存雪崩问题
缓存穿透,即黑客故意去请求缓存中不存在的数据,导致所有的请求都怼到数据库上,从而数据库连接异常。
(一)利用互斥锁,缓存失效的时候,先去获得锁,得到锁了,再去请求数据库。没得到锁,则休眠一段时间重试
(二)采用异步更新策略,无论key是否取到值,都直接返回。value值中维护一个缓存失效时间,缓存如果过期,异步起一个线程去读数据库,更新缓存。需要做缓存预热(项目启动前,先加载缓存)操作。
(三)提供一个能迅速判断请求是否有效的拦截机制,比如,利用布隆过滤器,内部维护一系列合法有效的key。迅速判断出,请求所携带的Key是否合法有效。如果不合法,则直接返回。
缓存雪崩,即缓存同一时间大面积的失效,这个时候又来了一波请求,结果请求都怼到数据库上,从而导致数据库连接异常。
(一)给缓存的失效时间,加上一个随机值,避免集体失效。
(二)使用互斥锁,但是该方案吞吐量明显下降了。
(三)双缓存。我们有两个缓存,缓存A和缓存B。缓存A的失效时间为20分钟,缓存B不设失效时间。自己做缓存预热操作。然后细分以下几个小点:
I 从缓存A读数据库,有则直接返回
II A没有数据,直接从B读数据,直接返回,并且异步启动一个更新线程。
III 更新线程同时更新缓存A和缓存B。
如何解决redis的并发竞争问题
(1)如果对这个key操作,不要求顺序
这种情况下,准备一个分布式锁,大家去抢锁,抢到锁就做set操作即可,比较简单。
(2)如果对这个key操作,要求顺序
假设有一个key1,系统A需要将key1设置为valueA,系统B需要将key1设置为valueB,系统C需要将key1设置为valueC.
期望按照key1的value值按照 valueA–>valueB–>valueC的顺序变化。这种时候我们在数据写入数据库的时候,需要保存一个时间戳。假设时间戳如下:
系统A key 1 {valueA 3:00}
系统B key 1 {valueB 3:05}
系统C key 1 {valueC 3:10}
那么,假设这会系统B先抢到锁,将key1设置为{valueB 3:05}。接下来系统A抢到锁,发现自己的valueA的时间戳早于缓存中的时间戳,那就不做set操作了。以此类推。
(3)其他方法,比如利用队列,将set方法变成串行访问也可以。
redis 分布式锁
第一种
缺点:会出现死锁现象
第二种:
Redis分布式锁双重防死锁演进
hash 一致性算法
步骤:
首先求出redis服务器(节点)的哈希值,并将其配置到0~2 (32)的圆(continuum)上。
然后采用同样的方法求出存储数据的键的哈希值,并映射到相同的圆上。
然后从数据映射到的位置开始顺时针查找,将数据保存到找到的第一个服务器上。如果超过2(32)仍然找不到服务器,就会保存到第一台redis服务器上
添加一台服务器
数据倾斜: 添加虚拟节点
redis 保证数据可靠性
redis以数据结构的形式将数据存放在内存中,为了让数据在redis服务器挂掉重启之后可以继续服务,那么就必须对数据进行持久化处理。
rdb: rdbSave 将内存中的快照以RDB格式保存到磁盘中,如果RDB文件存在,则覆盖为最新的RDB文件。在保存RDB文件期间,主线程需要被阻塞,直到保存完成为止。
AOF:
为了保证redis数据的可靠性,采用了另一种方式AOF同步,将redis写操作命令及参数保存到AOF文件中。除了SELECT命令是是AOF自己加上去的,其他命令都是之前客户端调用发来的写操作命令,同步命令到AOF文件包括三个流程:
命令传播:写操作命令包括参数的个数,命令的参数发送到AOF程序中。
缓存追加:AOF程序将接收到的写操作信息,转换为网络通讯协议的格式,然后将其追加到AOF缓存中。
文件写入和保存:AOF缓存中的文件被写入到AOF文件末尾,如果设定的AOF保存条件被满足的话,fsync函数或者fdatasync函数会被调用,将写入的内容真正地保存
到磁盘中 。
redis 常用命令:
1.连接redis:
redis-cli -h {host} -p {port}
2.判断一个键值是否存在
exists key
如果存在,返回整数类型 1 ,否则返回 0
3. 删除键 可以删除一个或多个键,返回值是删除的键的个数
del key [key.....]
4.为给定 key 设置过期时间,以秒计。
EXPIRE key seconds
5.查找所有符合给定模式( pattern)的 key 。
6.返回 key 所储存的值的类型。
7.
SET key value 设置指定 key 的值(string)
GET key 获取指定 key 的值(string)
HDEL key field1 [field2] 删除一个或多个哈希表字段
HEXISTS key field 查看哈希表 key 中,指定的字段是否存在。
HGET key field 获取存储在哈希表中指定字段的值。
HGETALL key 获取在哈希表中指定 key 的所有字段和值
HKEYS key 获取所有哈希表中的字段
参考:
https://blog.csdn.net/baidu_37657163/article/details/81075862
https://www.cnblogs.com/lpfuture/p/5796398.html
https://cloud.tencent.com/developer/news/241627
网友评论