两个Redis集群如何平滑数据迁移

来自:掘金(作者:冷冷gg)

原文链接:

https://juejin.im/post/5dc216dee51d4561f81ad1a7

问题

由于生产环境的各种原因,我们需要对现有服务器进行迁移,包括线上正在运行的 redis 集群环境 如何去做?

涉及到数据源变动,原有数据如何平滑迁移到新实例,从而可以实现无缝迁移?

方案汇总

基于 redis 自身的RDB/AOF 备份机制

image
  1. 执行 save\bgsave 触发数据持久化 RDB文件

  2. 拷贝redis备份文件(dump.rdb)到目标机器

  3. 重启目标实例重新load RDB 文件

  • 关于 save/bgsave 的区别
命令 save bgsave
IO阻塞 同步 异步
复杂度 O(n) O(n)
缺点 阻塞客户端 需要fork,消耗内存

基于redis-dump导入导出json备份

redis-dump 基于JSON 备份还原Redis的数据https://github.com/delano/redis-dump

image
# 导出命令
redis-dump –u 127.0.0.1:6379 > lengleng.json
# 导出指定数据库数据
redis-dump -u 127.0.0.1:6379 -d 15 > lengleng.json
# 如果redis设有密码
redis-dump –u :password@127.0.0.1:6379 > lengleng.json

# 导入命令
< lengleng.json redis-load
# 指定redis密码
< lengleng.json redis-load -u :password@127.0.0.1:6379

基于 redis-shake 实现 redis-cluster****迁移

redis-shake是阿里云Redis&MongoDB团队开源的用于redis数据同步的工具https://github.com/alibaba/RedisShake

image
  • 基于 Docker创建两个集群
docker run --name redis-cluster1 -e CLUSTER_ANNOUNCE_IP=192.168.0.31 -p 8000-8005:7000-7005 -p 18000-18005:17000-17005  pig4cloud/redis-cluster:4.0
docker run --name redis-cluster2 -e CLUSTER_ANNOUNCE_IP=192.168.0.31 -p 8000-8005:7000-7005 -p 18000-18005:17000-17005  pig4cloud/redis-cluster:4.0
  • 配置 redis-shake.conf

  • 执行全量、增量同步

image
  • restful监控指标
# 用户可以通过restful监控指标查看内部运行状况,默认的restful端口是9320:

http://127.0.0.1:9320/metric
image
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 一、Redis高可用概述 在介绍Redis高可用之前,先说明一下在Redis的语境中高可用的含义。 我们知道,在w...
    空语阅读 5,509评论 0 2
  • 企业级redis集群架构的特点 海量数据 高并发 高可用 要达到高可用,持久化是不可减少的,持久化主要是做灾难恢复...
    lucode阅读 6,551评论 0 7
  • 在上一篇文章中对Redis的两种持久化方式进行了介绍,还介绍了各自的优缺点以及如何选择,这篇文章就介绍一下...
    mkdlp阅读 5,145评论 0 1
  • 1.1 资料 ,最好的入门小册子,可以先于一切文档之前看,免费。 作者Antirez的博客,Antirez维护的R...
    JefferyLcm阅读 17,198评论 1 51
  • 最近工作生活都超级忙,但年初就开始了今年的各种计划,其中包括旅行,机缘巧合组建了一个四五人同频小伙伴一起台湾自由行...
    李逸嫣Cindia阅读 3,068评论 0 1