今天看啥  ›  专栏  ›  Anbang713

Redis:企业级数据备份方案

Anbang713  · 简书  ·  · 2020-06-22 20:37

1. 持久化配置策略

(1)首先是RDB的生成策略,这点用Redis默认的配置即可,比如: save 60 10000 。但是如果我们希望尽可能确保说,RDB最多丢1分钟的数据,那么尽量就是每隔1分钟都生成一个快照,比如设置成: save 60 1000 。个人觉得默认的配置即可,当然我们也可以根据自己的应用和业务的数据量去决定如何调整这个参数。

(2)AOF持久化一定要开启,fsync的策略为everysec也没有多大问题。可能我们仅仅需要做些调整的是下面两个参数:

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

2. 数据备份方案

RDB非常适合做冷备,每次生成之后,就不会再有修改了。企业中的数据备份方案通常是:

(1)写crontab定时调度脚本去做数据备份。

crontab -e
 
0 * * * * sh /usr/local/redis/copy/redis_rdb_copy_hourly.sh
0 0 * * * sh /usr/local/redis/copy/redis_rdb_copy_daily.sh

(2)每小时都copy一份rdb的备份,到一个目录中去,仅仅保留最近48小时的备份。

#### redis_rdb_copy_hourly.sh
 
#!/bin/sh 
cur_date=`date +%Y%m%d%k`
rm -rf /usr/local/redis/snapshotting/$cur_date
mkdir /usr/local/redis/snapshotting/$cur_date
cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur_date
 
del_date=`date -d -48hour +%Y%m%d%k`
rm -rf /usr/local/redis/snapshotting/$del_date

(3)每天都保留一份当日的rdb的备份,到一个目录中去,仅仅保留最近1个月的备份。

#### redis_rdb_copy_daily.sh
 
#!/bin/sh 
cur_date=`date +%Y%m%d`
rm -rf /usr/local/redis/snapshotting/$cur_date
mkdir /usr/local/redis/snapshotting/$cur_date
cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur_date
 
del_date=`date -d -1month +%Y%m%d`
rm -rf /usr/local/redis/snapshotting/$del_date

(4)每天晚上将当前服务器上所有的数据备份,发送一份到远程的云服务上去。

3. 数据恢复方案

以下分为5种场景(恢复时,需要注意的是:当同时开启RDB和AOF时,会使用AOF恢复数据):

(1)如果是redis进程挂掉,那么重启redis进程即可,直接基于AOF日志文件恢复数据。

(2)如果是redis进程所在机器挂掉,那么重启机器后,尝试重启redis进程,尝试直接基于AOF日志文件进行数据恢复。

AOF没有破损,也是可以直接基于AOF恢复的。

AOF append-only,顺序写入,如果AOF文件破损,那么用 redis-check-aof fix 进行修复。

(3)如果redis当前最新的AOF和RDB文件出现了丢失/损坏,那么可以尝试基于该机器上当前的某个最新的RDB数据副本进行数据恢复。

(4)如果当前机器上的所有RDB文件全部损坏,那么从远程的云服务上拉取最新的RDB快照回来恢复数据。

(5)如果是发现有重大的数据错误,比如某个小时上线的程序一下子将数据全部污染了,数据全错了,那么可以选择某个更早的时间点,对数据进行恢复。

比如在某个时间点发现代码有bug,导致代码生成的所有的缓存数据,写入redis全部错了。那么可以找到一份该时间点前的最近一分rdb的冷备,然后按照上面的步骤,去恢复数据。




原文地址:访问原文地址
快照地址: 访问文章快照