使用Redis做Mybatis的二级缓存

前因

处室的一个项目,会有大量的数据需要频繁被使用(查询),很少做新增修改删除的操作,这种数据很适合使用Redis进行缓存,所以新的版本想把Redis引入进来。

细化

使用Redis倒是难度不大,但是怎么样舒服的使用Redis就要多考虑一下了:
1、可以使用Jedis直接对Redis操作,这样的好处是全部自主掌控,可以在自己需要的地方增加对Redis的操作,坏处也显而易见,就是对现有代码改造比较大;另外一种方法是,通过Mybatis的二级缓存实现,优点是,对现有代码改造少,缺点也有,下面说。

2、单位对Redis的支持力度一般,不像有些公司会搭建平台级的Redis,我们都是每个项目自己搭建自己的Redis环境。所以很多同事会对Redis的高可用性报以怀疑(主要因为不熟悉),所以要保证Redis挂了之后,系统可以照常使用(读DB)。进而要求做一个开关,可以选择性的使用Redis。总结,两个问题:
1)设置开关;关闭时,不使用Redis。
2)开关打开后,系统在运行过程中,Redis挂了,系统应该照常运行。

3、领导想把Redis做成整个处室所有系统公用的,所以在Redis中的Key需要做一定的处理。

实现

吐槽一下,单位的网...连不上...github

1、pom.xml

<dependency>
    <groupId>org.mybatis.caches</groupId>
    <artifactId>mybatis-redis</artifactId>
    <version>1.0.0-beta2</version>
</dependency>

2、redis.properties,放到resource目录下

redis.ip=localhost    redis地址
redis.port=6379        redis端口
jedis.pool.maxActive=3000    最大连接数
jedis.pool.maxIdle=1000        空闲时最大连接数
jedis.pool.maxWait=1500        最大等待时间
jedis.pool.testOnBorrow=true
jedis.pool.testOnReturn=true

redis.switch = true    开关
redis.key = SOA        redis的KEY,以这个开头,区分系统

3、实现org.apache.ibatis.cache.Cache接口
见文章最下方

4、mybatis-config.xml开启二级缓存
<setting name="cacheEnabled" value="true" />

5、mybatis的Mapper配置文件中增加配置:
<cache type="com.taikang.tms.cache.RedisCache" />

<select id="selectAllConfig" resultMap="dataSourceConfig" useCache="false">
    select id,managecom,dataSourceName,managename from dataSourceConfig
</select>

其中useCache="false"表示,这个查询SQL不进行缓存。

<select id="selectConfigByManagecom" resultMap="dataSourceConfig" parameterType="String" useCache="true">
    select id,managecom,dataSourceName,managename from dataSourceConfig where managecom=#{managecom} 
</select>

useCache="true",这个查询SQL的结果进行缓存。(第一个sql是查询全部,一般这种sql我们不做缓存)

其余的insert、update、delete操作,可以进行如下配置:
flushCache="true/false",当设置成true的时候,执行sql会把redis中的缓存删除(调用Cache实现类的clear()方法),设置成false,则不做操作。

所以到这里也可以清楚的理解何时进行缓存、何时进行删除缓存了:
程序刚启动的时候,Redis中是空的。
每次执行select的时候,首先会去redis读取,读取不到的话,再去db中查询,查询结束后,将结果存入redis中,注意,如果sql查询无结果,也会放入redis中。
执行insert、update、delete语句的时候,清除对应的redis中的值。

上面说到使用这种方式的缺点....就是...框架自动生成的key看的很不爽,比如:
-189751634:3770288340:DataSourceConfigMapper.selectConfigByManagecom:0:2147483647:select id,managecom,dataSourceName,managename from dataSourceConfig where managecom=?:C

这是一个Key,从这个也能看出来,有一部分是select的查询语句。前面的数字看起来就不爽了,没有翻源码,不知道是啥含义。

这里还有一个坑需要注意,就是缓存删除,前面说过执行mybatis配置文件中的insert、update、delete操作的时候会删除缓存,不过有些系统....会直接登录到数据库上做一些操作吧,这种操作,缓存肯定是无法删除的。
我们系统做的更简单,因为我们系统中,这些需要缓存的数据基本上都是通过SQL语句初始化进去的,不需要前台有维护页面,所以...每次维护数据之和,手动去redis中进行flushdb。或者考虑启动服务的时候删除,或者前台做一个按钮什么的,点击一下删除redis中的缓存。


单位的网....不能连接github,今天尝试了一下使用其他的代码托管网站,也都失败了,并且我没有找到简书上如何上传附件,这次拼了,直接上代码:

RedisCache.java

package com.taikang.tms.cache;

import java.util.concurrent.locks.ReadWriteLock;
import java.util.concurrent.locks.ReentrantReadWriteLock;

import org.apache.ibatis.cache.Cache;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import com.taikang.tms.util.JedisUtils;
import com.taikang.tms.util.ConfigUtils;

public class RedisCache implements Cache {

    private static Logger logger = LoggerFactory.getLogger(RedisCache.class);
     
    private String cacheId;
     
    private final ReadWriteLock readWriteLock = new ReentrantReadWriteLock(true);
     
    public RedisCache(String cacheId) {
        if (cacheId == null) {
            throw new IllegalArgumentException("Cache instances require an ID");
        }
        this.cacheId = ConfigUtils.key + "." + cacheId;
        logger.info("NTSRedisCache cacheId ========== " + cacheId);
        
        if(ConfigUtils.redisSwitch){
            JedisUtils.getInstance();
        }
    }

    @Override
    public String getId() {
        return cacheId;
    }
 
    @Override
    public void putObject(Object key, Object value) {
        //TODO:开关采用一个静态变量,每个需要使用redis的地方,都判断这个变量,比较繁琐
        logger.info("NTSRedisCache putObject = " + cacheId);
        
        if(ConfigUtils.redisSwitch){
            JedisUtils.put(cacheId, key, value);
        }
    }
 
    @Override
    public Object getObject(Object key) {
        logger.info("NTSRedisCache getObject = " + cacheId);
        
        if(ConfigUtils.redisSwitch){
            return JedisUtils.get(cacheId, key);
        }else{
            return null;
        }
    }
 
    @Override
    public Object removeObject(Object key) {
        logger.info("NTSRedisCache removeObject = " + cacheId);
        
        if(ConfigUtils.redisSwitch){
            return JedisUtils.remove(cacheId, key);
        }else{
            return null;
        }
    }
 
    @Override
    public void clear() {
        logger.info("NTSRedisCache clear = " + cacheId);
        
        if(ConfigUtils.redisSwitch){
            JedisUtils.removeAll(cacheId);
        }
    }
 
    @Override
    public int getSize() {
        logger.info("NTSRedisCache getSize = " + cacheId);
        
        if(ConfigUtils.redisSwitch){
            return JedisUtils.getSize(cacheId);
        }else{
            return -1;
        }
    }
 
    @Override
    public ReadWriteLock getReadWriteLock() {
        return readWriteLock;
    }
 
}

所用到的几个工具类:

ConfigUtils.java

package com.taikang.tms.util;

import java.io.IOException;
import java.util.Properties;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import redis.clients.jedis.JedisPool;

public class ConfigUtils {
    private static Logger logger = LoggerFactory.getLogger(ConfigUtils.class);
    
    public static boolean redisSwitch ;
    public static int maxIdle ;
    public static boolean testOnBorrow;
    public static boolean testOnReturn;
    public static String ip;
    public static int port;
    public static String key;
    
    public static int fail_count = 0 ;
    
    static {
        Properties props = new Properties();
        try {
            props.load(JedisUtils.class.getResourceAsStream("/properties/redis.properties"));
            
            redisSwitch = Boolean.valueOf(props.getProperty("redis.switch"));
            maxIdle = Integer.valueOf(props.getProperty("jedis.pool.maxIdle"));
            testOnBorrow = Boolean.valueOf(props.getProperty("jedis.pool.testOnBorrow"));
            testOnReturn = Boolean.valueOf(props.getProperty("jedis.pool.testOnReturn"));
            ip = props.getProperty("redis.ip") ;
            port = Integer.valueOf(props.getProperty("redis.port"));
            key = props.getProperty("redis.key") ;
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        
    }
    
    public static void setSwitch(boolean redisSwitch){
        if(true == ConfigUtils.redisSwitch && false == redisSwitch){
            //switch : open --> close
            logger.info("switch : open --> close");
            JedisUtils.closeJedisPool();
        }else if(false == ConfigUtils.redisSwitch && true == redisSwitch){
            //switch : close --> open
            logger.info("switch : close --> open");
            JedisUtils.getInstance();
        }
        
        ConfigUtils.redisSwitch = redisSwitch ;
    }
    
    //TODO:当redis连接异常超过一定数量之后, 不再走redis,但是没有一个机制,当redis恢复之后会重新使用redis
    public static void setFailCount(){
        if(redisSwitch){
            fail_count += 1;
            
            //TODO:失败数量配置到配置文件中
            if(fail_count > 10){
                logger.info(" setSwitch(false) ");
                setSwitch(false);
            }
        }
    }
    
    public static void setSucc(){
        if(fail_count > 0 ){
            fail_count = 0 ;
        }
        
        if(!redisSwitch){
            setSwitch(true);
        }
    }
}

JedisUtils.java

package com.taikang.tms.util;

import java.io.IOException;
import java.util.Map;
import java.util.Properties;

import org.mybatis.caches.redis.RedisCallback;
import org.mybatis.caches.redis.SerializeUtil;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
import redis.clients.jedis.exceptions.JedisConnectionException;

public class JedisUtils {
     
    private static Logger logger = LoggerFactory.getLogger(JedisUtils.class);
    
    private static JedisPool JEDISPOOL;
  
    public static void getInstance(){
        if(JEDISPOOL == null){
            logger.info(" JedisUtils getInstance ");
            Properties props = new Properties();
            try {
                //TODO:配置文件固定,换成使用spring加载的方式
                JedisPoolConfig conf = new JedisPoolConfig();
                conf.setMaxIdle(ConfigUtils.maxIdle);   
                conf.setTestOnBorrow(ConfigUtils.testOnBorrow);   
                conf.setTestOnReturn(ConfigUtils.testOnReturn);
                JEDISPOOL = new JedisPool(conf, ConfigUtils.ip, ConfigUtils.port);
            } catch (Exception e) {
                logger.error("加载[jedis.properties]异常[" + e.getMessage() + "]", e);
            }
        }
    }
    
    
    public static Jedis getJedis() {
        try{
              return JEDISPOOL.getResource();
        }catch (Exception e) {
              //throw new JedisConnectionException("Could not get a resource from the pool");
              return null;
        }
    }
     
    public static void recycleJedis(Jedis jedis) {
        if(jedis != null){
            jedis.close();
        }
    }
    
    public static void closeJedisPool(){
        if(JEDISPOOL != null){
            JEDISPOOL.close();
        }
    }
     
    /**
     * Redis存储Object序列化流
     * */
    public static void put(String id , Object key, Object value) {
        Jedis jedis = getJedis();
        try{
            logger.info(" redis put ... key = [" + key + "]");
            //jedis.set(SerializeUtils.serialize(key), SerializeUtils.serialize(value));
            jedis.hset(id.toString().getBytes(), key.toString().getBytes(), SerializeUtils.serialize(value));
            //TODO:考虑用切片处理
            ConfigUtils.setSucc();
        }catch(Exception e){
            //TODO:异常放在utils中捕捉,还是在NTSRedisCache捕捉
            //TODO:统一异常处理方法
            ConfigUtils.setFailCount();
            logger.error("Redis执行异常[" + e.getMessage() + "]" , e);
        }finally {
            recycleJedis(jedis);
        }
    }
     
    public static <T> T get(String id , Object key) {
        Jedis jedis = getJedis();
        try{
            //T value = SerializeUtils.unserialize(jedis.get(SerializeUtils.serialize(key)));
            T value = SerializeUtils.unserialize(jedis.hget(id.toString().getBytes(), key.toString().getBytes()));
            logger.info(" redis get ... key = [" + key + "] , value = [" + value + "]");

            ConfigUtils.setSucc();
            return value;
        }catch(Exception e){
            ConfigUtils.setFailCount();
            logger.error("Redis执行异常[" + e.getMessage() + "]" , e);
        }finally {
            recycleJedis(jedis);
        }
        return null;
    }
     
    public static Long remove(String id , Object key) {
        Jedis jedis = getJedis();
        try{
            Long num = jedis.hdel(id.toString(), key.toString());;
            //Long num = jedis.del(SerializeUtils.serialize(key));
            ConfigUtils.setSucc();
            return num;
        }catch(Exception e){
            ConfigUtils.setFailCount();
            logger.error("Redis执行异常[" + e.getMessage() + "]" , e);
        }finally {
            recycleJedis(jedis);
        }
        return 0L;
    }
     
    public static void removeAll(String id) {
        Jedis jedis = getJedis();
        try{
            jedis.del(id.toString());
            //jedis.flushDB();
            ConfigUtils.setSucc();
        }catch(Exception e){
            ConfigUtils.setFailCount();
            logger.error("Redis执行异常[" + e.getMessage() + "]" , e);
        }finally {
            recycleJedis(jedis);
        }
    }
    
    public static int getSize(String id) {
        return 0;
        /*Jedis jedis = getJedis();
        try{
            Map<byte[], byte[]> result = jedis.hgetAll(id.toString().getBytes());
            return result.size();
        }catch(Exception e){
            ConfigUtils.setFailCount();
            logger.error("Redis执行异常[" + e.getMessage() + "]" , e);
        }finally {
            recycleJedis(jedis);
        }
        return -1 ;*/
    }
}

SerializeUtils.java

package com.taikang.tms.util;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.ObjectInputStream;
import java.io.ObjectOutputStream;

public class SerializeUtils {
     
    //private static final Logger logger = Logger.getLogger(SerializeUtils.class);
     
    private static void close(ObjectOutputStream objectOutputStream, ByteArrayOutputStream byteArrayOutputStream) {
        try {
            if (byteArrayOutputStream != null) {
                byteArrayOutputStream.close();
            }
            if (objectOutputStream != null) {
                objectOutputStream.close();
            }
        } catch (Exception e) {
            e.printStackTrace();
            //logger.error("关闭IO资源异常[" + e.getMessage() + "]", e);
        }
    }
     
    private static void close(ObjectInputStream objectInputStream, ByteArrayInputStream byteArrayInputStream) {
        try {
            if (objectInputStream != null) {
                objectInputStream.close();
            }
            if (byteArrayInputStream != null) {
                byteArrayInputStream.close();
            }
        } catch (Exception e) {
            e.printStackTrace();
            //logger.error("关闭IO资源异常[" + e.getMessage() + "]", e);
        }
    }
     
    public static byte[] serialize(Object object) {
        ObjectOutputStream objectOutputStream = null;
        ByteArrayOutputStream byteArrayOutputStream = null;
        try {
            byteArrayOutputStream = new ByteArrayOutputStream();
            objectOutputStream = new ObjectOutputStream(byteArrayOutputStream);
            objectOutputStream.writeObject(object);
            byte[] bytes = byteArrayOutputStream.toByteArray();
            return bytes;
        } catch (Exception e) {
            e.printStackTrace();
            //logger.error("序列化对象异常[" + e.getMessage() + "]", e);
        } finally {
            close(objectOutputStream, byteArrayOutputStream);
        }
        return null;
    }
 
    @SuppressWarnings("unchecked")
    public static <T> T unserialize(byte[] bytes) {
        if (bytes == null)
            return null;
        ByteArrayInputStream byteArrayInputStream = null;
        ObjectInputStream objectInputStream = null;
        try {
            byteArrayInputStream = new ByteArrayInputStream(bytes);
            objectInputStream = new ObjectInputStream(byteArrayInputStream);
            return (T) objectInputStream.readObject();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            close(objectInputStream, byteArrayInputStream);
        }
        return null;
    }
 
}

测试用例...就不贴了,我继续找找单位可以使用的代码托管软件..话说,今天连各种SVN都试过了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343

推荐阅读更多精彩内容