1、EC 简介及性能表现

Aws ElastiCache（简称 EC），主要包含两种架构，主从架构和集群架构。
EC在性能上做了部分优化，在R6g 等arm机型上也做了部分优化。

image.png
image.png
image.png

可以看到，部分场景下，GET性能可以达到接近90万的QPS。

2、EC迁移工具

目前EC的迁移工具，主要包括两种：Riot，Redis-shake。
Aws 官方的ElastiCache 控制台、API 或 AWS CLI，本篇不做介绍。
本文，先介绍第一种Riot。

Riot 介绍

• Files (CSV, JSON, XML)
• Data generators (Redis data structures, Faker)
• Relational databases
• Redis itself (snapshot and live replication)
  image.png

image.png

3、部署方式

3.1 docker方式

docker run -d --name=riot fieldengineering/riot \
-h source-ip -p source-port -a source-pwd <-c> <--tls> \
replicate \
-h target-ip -p target-port -a target-pwd <-c> <--tls>  \
--threads 3 \
--mode live 

3.2 二进制方式

#x86_64
wget https://github.com/redis-developer/riot/releases/download/v3.1.5/riot-standalone-3.1.5-linux-x86_64.zip
#riot-standalone-3.1.5-*.zip 包含自己的 Java 运行时并且不需要安装 Java

#其他系统，参考 https://github.com/redis-developer/riot/releases

# 迁移命令
riot -h source-ip -p source-port -a source-pwd <-c> <--tls> \
replicate <--type ds> \
-h target-ip -p target-port -a target-pwd <-c> <--tls>  \
--threads 3 \
--mode live 

3.3 replicate 数据同步模式参数

TIPS:
source-ip 源端ip(dns)
source-port 源端port
source-pwd 源端密码
-c 集群模式，非集群模式不需要加-c
--tls redis实例启用了数据传输加密时，需要增加此参数
replicate 数据同步模式
--type ds 源端和目的端版本不一致时，对key 按照类型进行同步。cpu负载高
target-ip 目标端ip
target-port 目标端port
target-pwd 目标端密码
--threads 启用多线程
--mode live 启用数据增量同步

4、迁移类型

4.1 离线迁移

   通过对文件进行import。该方案不包含在线业务的增量数据。
   文件类型主要为CSV, TSV, PSV

4.2 在线全量迁移

   对Redis 进行 dump & restoe 操作。该方案不包含在线业务的增量数据。

4.3 在线全量/增量迁移

   对Redis 进行 dump & restoe 操作，并且监测在线业务的增量数据情况，进行实时同步。

增量迁移，需要设置源端redis参数 notify-keyspace-events

config set notify-keyspace-events KA
可以通过配置 "notify-keyspace-events" 选项来让 Redis 选择发送哪些事件：
K Keyspace 事件, 以 __keyspace@<db>__ 为前缀发布
E Keyevent 事件, 以 __keyevent@<db>__ 为前缀发布
g 通用命令 (不是针对特定类型的命令) 比如 DEL, EXPIRE, RENAME 等
$ String 命令
l List 命令
s Set 命令
h Hash 命令
z Sorted set 命令
x Expired 事件 (当一个 key 过期的时候生成)
e Evicted 事件 (当一个 key 由于 maxmemory 被回收生成)
A 表示 g$lshzxe 的别名,因此 "AKE" 表示所有事件
notify-keyspace-events 的值由上面的 0 到 N 个字符组成。空字符串表示禁止发送通知， 
这是 notify-keyspace-events 的默认值。

迁移时，增加增量迁移参数

--mode live

5、迁移准备

5.1 准备EC2

在待迁移实例的同一个vpc中，准备一台EC2，4c8g+

5.2 修改参数

如果需要数据实时同步，需要提前修改EC（Redis）的参数。
开启方法：

5.2.1 物理自建实例，可在线动态修改

config set notify-keyspace-events KA

5.2.2 EC实例

Tips：EC实例限制了部分命令，如config,sync,psync等命令，所以需要修改配置文件.

查看当前集群的参数组名称，如default.redis6.x.cluster.on，default前缀表示使用的是系统默认参数组，默认参数组不可以修改

image.png

在Aws-ElastiCache 控制台页面左侧， —>配置—> 参数组，点击右上角【创建参数组】

image.png

输入一个参数组名称，建议名称包含实例类型（redis），实例版本，实例架构，选择默认参数组对应的版本，及描述信息

image.png

重新进入 配置—> 参数组，选择刚才创建的参数组，点击右侧【编辑参数值】

image.png

搜索notify，找到notify-keyspace-events参数，值修改为 KA

image.png

如果原EC为cluster 架构，还需要修改cluster-enabled值为yes，因为新创建的参数组，cluster-enabled默认为NO

image.png

5.3 测试网络

在EC2机器安装redis-cli工具

sudo apt-get install redis-tools

测试源端EC

redis-cli -h cluster1.1o85i0.clustercfg.apse1.cache.amazonaws.com -p 6379 -a xxx

如果开启了传输加密，需要加上--tls 参数
redis-cli -h cluster1.1o85i0.clustercfg.apse1.cache.amazonaws.com -p 6379 -a xxx --tls

测试目标端Redis

redis-cli -h target-ip -p 6379 -a xxx

6、迁移场景

6.1 ElastiCache Cluster To other Redis Cluster

6.1.1全量迁移

docker run -d --name=riot fieldengineering/riot \
-h source-ip -p source-port -a source-pwd -c --tls \
replicate \
-h target-ip -p target-port -a target-pwd -c --tls \
--threads 2 \

TIPS: 未开启传输加密，不需要--tls 参数

6.1.2 全量+增量迁移

docker run -d --name=riot fieldengineering/riot \
-h source-ip -p source-port -a source-pwd -c --tls \
replicate \
-h target-ip -p target-port -a target-pwd -c --tls \
--threads 2 \
--mode live 

TIPS: 未开启传输加密，不需要--tls 参数

6.2 ElastiCache Single To other Redis Single

6.2.1全量迁移

docker run -d --name=riot fieldengineering/riot \
-h source-ip -p source-port -a source-pwd --tls \
replicate \
-h target-ip -p target-port -a target-pwd --tls \
--threads 2 \

TIPS: 未开启传输加密，不需要--tls 参数

6.2.2全量+增量迁移

docker run -d --name=riot fieldengineering/riot \
-h source-ip -p source-port -a source-pwd --tls \
replicate \
-h target-ip -p target-port -a target-pwd --tls \
--threads 2 \
--mode live 

TIPS: 未开启传输加密，不需要--tls 参数