(4)分布式ID之Redis集群实现的分布式ID

首先是项目地址:

关于Redis集群生成分布式ID,这里要先了解redis使用lua脚本的时候的EVAL,EVALSHA命令:

讲解一下Redis实现分布式ID的原理,这里用java语言来讲解:

  • 这里的分布式id我们分成3部分组成:毫秒级时间,redis集群的第多少个节点,每一个redis节点在每一毫秒的自增序列值
  • 然后因为window是64位的,然后整数的时候第一位必须是0,所以最大的数值就是63位的111111111111111111111111111111111111111111111111111111111111111,这里呢,我们分出来41位作为毫秒,然后12位作为redis节点的数量,然后10位做成redis节点在每一毫秒的自增序列值
  • 41位的二进制11111111111111111111111111111111111111111转换成10进制的毫秒就是2199023255551,然后我们把 2199023255551转换成时间就是2039-09-07,也就是说可以用20年的
  • 然后12位作为redis节点,所以最多就是12位的111111111111,也就是最多可以支持4095个redis节点,然后10位的redis每一个节点自增序列值,,这里最多就是10位的1111111111,也就是说每一个redis节点可以每一毫秒可以最多生成1023个不重复id值
  • 然后我们使用java代码来讲解这个原理,下面的1565165536640L是一个毫秒值,然后我们的的redis节点设置成53,然后我们设置了两个不同的自增序列值,分别是1和1023,下面的结果展示的就是在1565165536640L这一毫秒里面,53号redis节点生成了两个不同的分布式id值
package io.github.hengyunabc.redis;
import java.text.SimpleDateFormat;
import java.util.Date;
public class Test {
    public static void main(String[] args) {
        long buildId = buildId(1565165536640L, 53, 1);
        System.out.println("分布式id是:"+buildId);
        long buildIdLast = buildId(1565165536640L, 53, 1023);
        System.out.println("分布式id是:"+buildIdLast);
    }
    public static long buildId(long miliSecond, long shardId, long seq) {
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }
}
public class Test {
    public static void main(String[] args) {
        long buildId = buildId(1565165536640L, 53, 1);
        System.out.println("分布式id是:"+buildId);
        long buildIdLast = buildId(1565165536640L, 53, 1023);
        System.out.println("分布式id是:"+buildIdLast);
    }
    public static long buildId(long miliSecond, long shardId, long seq) {
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }
}
  • 结果如下所示
1.  `分布式id是:6564780070991352833`
2.  `分布式id是:6564780070991353855`
  • 那么有人要说了,你这也不符合分布式id的设置啊,完全没有可读性啊,这里我们可以使用下面的方式来获取这个分布式id的生成毫秒时间值
package io.github.hengyunabc.redis;
import java.text.SimpleDateFormat;
import java.util.Date;
public class Test {
    public static void main(String[] args) {
        long buildId = buildId(1565165536640L, 53, 1);
        parseId(buildId);
        long buildIdLast = buildId(1565165536640L, 53, 1023);
        parseId(buildIdLast);
    }
    public static long buildId(long miliSecond, long shardId, long seq) {
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }
    public static void parseId(long id) {
        long miliSecond = id >>> 22;
        long shardId = (id & (0xFFF << 10)) >> 10;
        System.err.println("分布式id-"+id+"生成的时间是:"+new SimpleDateFormat("yyyy-MM-dd").format(new Date(miliSecond)));
        System.err.println("分布式id-"+id+"在第"+shardId+"号redis节点生成");
    }
}
  • 这样不就ok了,哈哈。
`分布式id-6564780070991352833生成的时间是:2019-08-07`
`分布式id-6564780070991352833在第53号redis节点生成`
`分布式id-6564780070991353855生成的时间是:2019-08-07`
`分布式id-6564780070991353855在第53号redis节点生成`

实现集群版的redis的分布式id创建

  • 此时我的分布式redis集群的端口分别是6380,6381
  • 首先是生成Evalsha命令安全sha1 校验码,生成过程如下,
  • 首先是生成6380端口对应的安全sha1 校验码,首先进入到redis的bin目录里面,然后执行下面的命令下载lua脚本
`wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node1.lua`
image
  • 然后执行下面的命令,生成6380端口对应的安全sha1 校验码,此时看到是be6d4e21e9113bf8af47ce72f3da18e00580d402
`./redis-cli -p 6380 script load "$(cat redis-script-node1.lua)"`
image
  • 首先是生成6381端口对应的安全sha1 校验码,首先进入到redis的bin目录里面,然后执行下面的命令下载lua脚本
`wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node2.lua`
image
  • 然后执行下面的命令,生成6381端口对应的安全sha1 校验码,此时看到是97f65601d0aaf1a0574da69b1ff3092969c4310e
`./redis-cli -p 6381 script load "$(cat redis-script-node2.lua)"`
image

然后我们就使用上面的sha1校验码和下面的代码来生成分布式id

  • 项目图片如下
image
  • IdGenerator类的代码如下所示
package io.github.hengyunabc.redis;
import java.util.ArrayList;
import java.util.List;
import org.apache.commons.lang3.tuple.Pair;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.exceptions.JedisConnectionException;
public class IdGenerator {
    /**
     * JedisPool, luaSha
     */
    List<Pair<JedisPool, String>> jedisPoolList;
    int retryTimes;
    int index = 0;
    private IdGenerator(List<Pair<JedisPool, String>> jedisPoolList,
            int retryTimes) {
        this.jedisPoolList = jedisPoolList;
        this.retryTimes = retryTimes;
    }
    static public IdGeneratorBuilder builder() {
        return new IdGeneratorBuilder();
    }
    static class IdGeneratorBuilder {
        List<Pair<JedisPool, String>> jedisPoolList = new ArrayList();
        int retryTimes = 5;
        public IdGeneratorBuilder addHost(String host, int port, String luaSha) {
            jedisPoolList.add(Pair.of(new JedisPool(host, port), luaSha));
            return this;
        }
        public IdGenerator build() {
            return new IdGenerator(jedisPoolList, retryTimes);
        }
    }
    public long next(String tab) {
        for (int i = 0; i < retryTimes; ++i) {
            Long id = innerNext(tab);
            if (id != null) {
                return id;
            }
        }
        throw new RuntimeException("Can not generate id!");
    }
    Long innerNext(String tab) {
        index++;
        int i = index % jedisPoolList.size();
        Pair<JedisPool, String> pair = jedisPoolList.get(i);
        JedisPool jedisPool = pair.getLeft();
        String luaSha = pair.getRight();
        Jedis jedis = null;
        try {
            jedis = jedisPool.getResource();
            List<Long> result = (List<Long>) jedis.evalsha(luaSha, 2, tab, ""
                    + i);
            long id = buildId(result.get(0), result.get(1), result.get(2),
                    result.get(3));
            return id;
        } catch (JedisConnectionException e) {
            if (jedis != null) {
                jedisPool.returnBrokenResource(jedis);
            }
        } finally {
            if (jedis != null) {
                jedisPool.returnResource(jedis);
            }
        }
        return null;
    }
    public static long buildId(long second, long microSecond, long shardId,
            long seq) {
        long miliSecond = (second * 1000 + microSecond / 1000);
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }
    public static List<Long> parseId(long id) {
        long miliSecond = id >>> 22;
        long shardId = (id & (0xFFF << 10)) >> 10;
        List<Long> re = new ArrayList<Long>(4);
        re.add(miliSecond);
        re.add(shardId);
        return re;
    }
}
  • Example的代码如下所示,下面的while循环的目的就是为了打印多个分布式id,下面的tab变量就是evalsha命令里面的参数,可以根据自己的需求来定义
package io.github.hengyunabc.redis;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.List;
public class Example {
    public static void main(String[] args) {
        String tab = "这个就是evalsha命令里面的参数,随便定义";
        IdGenerator idGenerator = IdGenerator.builder()
                .addHost("47.91.248.236", 6380, "be6d4e21e9113bf8af47ce72f3da18e00580d402")
                .addHost("47.91.248.236", 6381, "97f65601d0aaf1a0574da69b1ff3092969c4310e")
                .build();
        int hello = 0;
        while (hello<3){
            long id = idGenerator.next(tab);
            System.out.println("分布式id值:" + id);
            List<Long> result = IdGenerator.parseId(id);
            System.out.println("分布式id生成的时间是:" + new SimpleDateFormat("yyyy-MM-dd").format(new Date(result.get(0))) );
            System.out.println("redis节点:" + result.get(1));
            hello++;
        }
    }
}
  • 此时打印结果如下所示
`分布式id值:6564819854640022531`
`分布式id生成的时间是:2019-08-07`
`redis节点:1`
`分布式id值:6564819855189475330`
`分布式id生成的时间是:2019-08-07`
`redis节点:0`
`分布式id值:6564819855361442819`
 `分布式id生成的时间是:2019-08-07`
`redis节点:1`
  • 到这里redis集群版的分布式id就算搞定了,完美؏؏☝ᖗ乛◡乛ᖘ☝؏؏

Redis集群实现的分布式id是否适合做分布式id呢?

  • 我觉得Redis集群实现分布式ID是可以供我们开发中的基本使用的,但是我还是觉得它有下面的两个问题:

1:这里我们可以给上一篇的数据库自增ID机制进行对比,其实Redis集群可以说是解决了数据库集群创建分布式ID的性能问题,但是Redis集群系统水平扩展还是比较困难,如果以后想对Redis集群增加Redis节点的话,还是会和数据库集群的节点扩展一样麻烦。
2:还有就是如果你的项目里面没有使用Redis,那么你就要引入新的组件,这也是一个比较麻烦的问题。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343