背景
在做一些项目的过程中，有些项目对于后端数据的接口请求时间要求更高，数据存储读取较频繁，一般的mysql数据库不能支持这种需求，所以对于这类项目，一般采用内存型数据库存储-redis。
而对于redis，它相比于mysql资源成本是更高的，因此redis适合存储一些重要或者紧要的数据。
在这类项目运行久了之后，一些老的key会不断在redis里积压，导致redis内存越来越高，对redis的使用效率产生影响，因此需要对于redis数据进行定期清理。
这个项目是对于redis中的key进行筛选，查找到轮转时间(长期没有使用的时间)大于某个阈值的key，并将它做一些清理落地处理。
项目地址
命令科普
- 死键
所谓死键，在redis里有两个定义。- 死键是指redis中的key超过过期时间，但是没有在内存中被实际删除的key。
PS: 这种情况是可能发生的，在redis中过期键的删除有两种策略，一般采用的是定期删除（比如每s删除10个），这样的话，如果我们过期键产生的速度是大于删除的速度，则会产生死键。 - 死键是指在redis中长期未被访问的key(需要根据业务需求，查看能否删除)
- 死键是指redis中的key超过过期时间，但是没有在内存中被实际删除的key。
- 轮转时间
轮转时间即idletime,是指该key有多长时间没有被访问过(单位 s)。
OBJECT IDLETIME KEYimage.png - 其他命令
SCAN key start match * count 1000 # 增量迭代 遍历redis
get key # string类型
LRANGE key 0 -1 #list 类型
SMEMBERS key #set 类型
HGETALL key # hash 类型
ZRANGE key 0 -1 WITHSCORES # zset 类型
项目实现
语言：shell+lua
- shell脚本
redisCom="redis-cli -p 3310 -a password"
start=0
fileNamePre="unUseData_"
time=$(date "+%Y-%m-%d %H:%M:%S")
echo "拆分执行 开始时间：${time} 开始索引 ${start}"
data=`${redisCom} --eval getUnusedData2.0.lua , ${start}`
echo ${data} | sed 's/ / \n/g' > "${fileNamePre}""${start}"
start=`echo ${data} | cut -d ' ' -f1`
time=$(date "+%Y-%m-%d %H:%M:%S")
echo "拆分执行 结束时间：${time}"
while(( $start>0 ))
do
time=$(date "+%Y-%m-%d %H:%M:%S")
echo "拆分执行 开始时间：${time} 开始索引 ${start}"
data=`${redisCom} --eval getUnusedData2.0.lua , ${start}`
echo ${data} | sed 's/ / \n/g' > "${fileNamePre}""${start}"
start=`echo ${data} | cut -d ' ' -f1`
time=$(date "+%Y-%m-%d %H:%M:%S")
echo "拆分执行 结束时间：${time}"
done
time=$(date "+%Y-%m-%d %H:%M:%S")
echo "结束时间：${time}"
shell脚本主要是做一个触发作用，循环调用getUnusedData2.0的LUA脚本。LUA脚本的目的就是每次遍历10000条数据，找到死键，然后做相应处理。返回值如果为0表示redis遍历完毕，都则继续进行遍历。
最后shell将遍历后的结果进行简单切割处理后，存储至文件。
- LUA脚本-getUnusedData2.0
-- 获取在临界时间外的数据
local function getUnuseData()
data = nextCycle(start, count, match)
start = tonumber(data[1])
--开始判断
for key,value in pairs(data[2])
do
local curTime = 0
curTime = getIdleTime(value)
if(curTime > maxTime)
then
local delData = {}
delData[1] = value
delData[2] = curTime
delData[3] , delData[4] = getkey(value)
--return delData
--delKey(value)
table.insert(keyData , delData)
--delKey(value)
end
end
return keyData , start
end
具体操作可以查看github源代码
- LUA脚本-createRaw
-- 测试使用 为数据库创建随机数据
-- 随机数
local num = 1000000
local function createRaw(num)
local value = math.random(num)
local key = "create_rew_data_"..tostring(math.random(num))
--local value = math.randomseed(num)
--return value
return redis.call("SET" , key, value)
end
math.randomseed(num)
--return num
--return createRaw(num)
for i=num,1,-1
do
createRaw(num)
end
目的是为了测试，在自己测试库中写入随机数据。
项目运行
- 生成随机数据
redis-cli --eval createRawData.lua
生成63万数据
image.png -
查找数据
只查找符合要求的数据，因为我们数据都是新生成的，所以我们设置阈值时间为0，一次查找10000条数据。
修改如下：
image.png运行脚本 耗时16s
image.pngimage.png -
查找并落地数据+删除
删掉注释，开始删除数据
image.png
运行程序,用时26s 原因（生成数据value均为数字，存储很快）:
image.pngimage.png
