分布式ID生成实现

原理

本人实现:
https://github.com/lesline/id-gen
本人参照snowflake算法和其它博客(见下面参考)对分布式ID做了实现:
分布式ID=时间(年月日时分秒毫妙 17)+自增序列(6)+服务位(3)
实现原理:主要参考snowflake,见下图:

1.jpg

实现主要注意两点:

  1. 工作机器位(WORKID)的获取,
  2. 时钟回拨问题
  3. 重启时发生回拨的情况

问题解决

问题一:使用ZooKeeper生成WORKID:

这里我们使用 ZooKeeper 持久顺序节点特性来配置维护 WORKID,服务启动顺序如下:
1、启动发号器服务,连接 ZooKeeper, 检查根节点 id_generator 是否存在,如果不存在就创建系统根节点。
2、 检查根节点下当前机器是否已经注册过 (是否有该顺序子节点)。 如果有注册,直接取回自己的 WORKID。如果没注册,在根节点下创建一个持久顺序节点,取回顺序号做 WORKID。
3、一旦取回 WORKID,缓存在本地文件中,后续直接使用,不再与 ZooKeeper 进行任何交互,此方案对 ZooKeeper 依赖极小。

问题二: 时钟回拨及闰秒问题

由于时钟回拨会获取之前的时间,所以会产生相同的流水号。
解决时钟回拨问题有三种方式:

  1. 关闭NTP,不让电脑时钟同步
  2. 时钟回拨发生时,如果回拨较小则等待一段时间后再可用
  3. 时钟回拨发生时,获取新的workID

问题三: 重启时发生回拨的情况

重启获取新的workID

NTP和闰秒

NTP

是网络时间协议(Network Time Protocol),它是用来同步网络中各个计算机的时间的协议。许多计算机系统使用NTP来保持与世界原子钟的同步,当一秒被增加后,一些系统根本不知道如何处理。

闰秒

对时区、各种时间(gmt,utc,unix时间戳)的理解BevisWu新浪博客
20145212 《Java程序设计》第7周学习总结 - 20145212罗天晨 - 博客园
闰秒原理及其对计算机系统影响 - CSDN博客

格林威治时间(GMT):通过观察太阳而得,因为地球公转轨道为椭圆形且速度不一,本身自传减速而造成误差。
世界时(UT):可以简单的理解为以地球自转为标准的计时。
原子时(TAI):国际原子时
世界协调时(UTC-Universal Time Coordinated):保持TAI和UT时间误差不要过大采用了闰秒修正。
重点总结:
1.即使标注为GMT时间,实际上谈到时间指的是UTC时间。
2.秒的单位定义是基于TAI,也就是铯原子辐射振动次数。
3.UTC考虑了地球自转越来越慢而又闰秒修正,确保哦UTC与UT相差不会超过0.9秒。
4.Unix时间是1970年1月1日00:00:00为起点而经过的秒数,不考虑闰秒。

闰秒是一个一秒的调整,偶尔应用到协调世界时(UTC),以保持其时间接近平均太阳时间或世界时。没有这样的校正,地球旋转计算的时间会偏离原子时间。
具体来说,在所选择的UTC日期(一个月的最后一天,通常是6月30日或12月31日)的23:59:59和下一天的00:00:00之间插入正的闰秒。此闰秒在UTC时钟显示为23:59:60。负闰秒会在所选月份的最后一天的第二个23:59:59,该日期的23:59:58将紧接在下一天的00:00:00(负闰秒就很难见到啦。除非你现在开始从宇宙推地球让他转快点)。

闰秒在Java中的实现

Unix时间戳,是在unix系统里普遍采用的,表现形式是从世界协调时(UTC)1970年1月1日0时0分0秒起至现在的总秒数,不考虑闰秒。​
所谓不考虑闰秒,意思是当发生正闰秒时,闰秒发生的那一秒的unix时间与闰秒的下一秒​的unix时间相同。

java.util.Date类的getTime​()方法,一定要考虑时区
此方法返回给定时间点距离1970-01-01 :00:00:00 GMT的毫秒数。请特别注意这里计算的时间点是GMT+0这个时区的1970-01-01 :00:00:00时间点。
::由于不考虑润秒,所以 System.currentTimeMillis()只返回1970年1月1日0时0分0秒起至现在的总毫秒数,如果发生润秒,System.currentTimeMillis()值不变,(闰秒发生的那一秒的unix时间与闰秒的下一秒​的unix时间相同)::

[image:38F9591F-9599-4366-8C9E-3F75DD3E95B0-7295-00003D134881093C/F73D3680-228D-4934-9AC6-C38A32CB2ED3.png]

可优化部分:

时钟回拨发生时,如果回拨较小则等待一段时间后再可用,回拨较大时,获取新的workID。


参考:
Scala版snowflake实现:GitHub - twitter/snowflake: Snowflake is a network service for generating unique ID numbers at high scale with some simple guarantees.
java版snowfake实现:GitHub - shardingjdbc/sharding-jdbc: Distributed database middleware
io.shardingjdbc.plugin.keygen.HostNameKeyGenerator
io.shardingjdbc.core.keygen.DefaultKeyGenerator
分布式ID生成系统怎么做?
[关于分布式ID的一些思考](https://mp.weixin.qq.com/s/CeQpB3uVhN7qnaTm7KiERw
zookeeper curator选主(Leader) - 扎心了老铁 - 博客园

Leaf——美团点评分布式ID生成系统 - 美团技术团队
ID生成策略——SnowFlake

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容

  • 文章转载自公众号“达达京东到家技术”。 背景 在分布式系统中,经常需要对大量的数据、消息、http 请求等进行唯一...
    淡淡的橙子阅读 5,863评论 1 41
  • 本文主要介绍在一个分布式系统中, 怎么样生成全局唯一的 ID 一, 问题描述 在分布式系统存在多个 Shard 的...
    hanayona阅读 1,986评论 0 5
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,598评论 18 139
  • 你是我的平行线吗? 我们一直保持着 心酸的距离 不远不近 但 我想靠近你 所以 你不是我的平行线了 可是 在相交的...
    大牙妹的摇摆青春阅读 202评论 0 2
  • 我早已失去了知觉 于是决绝所有声音 也会抵触所有接近 无论石头会生长 或者云在脚下 原谅我 自此以后 无法据实相告...
    _Gun阅读 202评论 0 4