Replication 0.98

Replication会在Region Server初始化HLog的时候启动, 具体流程如下:

  1. 判断replication是否打开
  2. 配置 sourceClassname和sinkClassname 看来可以配置写到不同的系统中
  3. 如果source和sink用的是相同的class, 则复用一个replicationSourceHandler, 否则各自建一个replicationSourceHandler(如果不配置都是Replication这个类) -> initialize
  4. 初始化replication线程, 具体线程如下:
    replicationQueue: 存储在zk上
zk上每个regionserver会有一个节点, 里面有该rs上的所有hlog
即: /hbase/replication/rs/hostname.example.org,6020,1234/1
        /hbase/replication/rs/hostname.example.org,6020,1234/2
每个hlog节点会记录被备份到的最近位置
       /hbase/replication/rs/hostname.example.org,6020,1234/1/23522342.23422 [VALUE: 254]

replicationPeers: 同样存储在zk上

根据用户在创建时的peer_id创建的  /hbase/replication/peers/1 [Value: zk1.host.com,zk2.host.com,zk3.host.com:2181:/hbase], 存的信息是对应的zk值以及hbase的znode
每个peer都有一个指示当前状态的znode
/hbase/replication/peers/1/peer-state [Value: ENABLED]
每个peer都有一个指示哪些表需要被replicate的znode
/hbase/replication/peers/1/tableCFs [Value: "table1; table2:cf1,cf3; table3:cfx,cfy"]

replicationTracker

主要是注册了两个watcher
OtherRegionServerWatcher:当有别的机器挂的时候会通知
PeersWatcher:当有peer被创建或者删除的时候会通知

replicationSourceManager:

initialize的时候会把deadserver上的queue去grab到自己的node上, 跟split HLog的逻辑相同
  1. 创建完ReplicationInstance以及相关线程之后, 会马上调用instantiateHLog(rootDir, logName), 里面会调用getWALActionListeners, 这一步实际就是把replicationSourceHandler注册到WALActionListeners中, 这样在对HLog进行操作时都会触发listener操作。

之后在regionserver启动服务线程的时候会启动replicationSourceHandler

1. 启动replicationManager
  为每个peer创建ReplicationSource: 里面会创建ReplicationEndpoint, 相当于拷贝时客户端的角色
  尝试把deadserver上的replicationQueue 拿到自己这里进行处理
2. 启动replicationSink
  创建一个对应集群的HConnection
3. 启动ReplicationStatisticsThread
  周期性打印replication数据

到目前为止, 准备工作都已经就绪, 下面看下在写入数据时是如何触发replication的:

  • replication 并不是每次写入HLog都会触发, 而是在每次LogRoll的时候:
preLogRoll -> 在zk上创建该log的znode
postLogRoll -> 把该log放入各个ReplicationSource的队列中等待被处理

接着就是ReplicationSource真正处理Log的逻辑了

首先check一些设置是否正确
然后看下这个replicationLog是不是recover的, 如果是就会seek到上次的位置
终于开始处理log了, 会给log做一个snapshot
开始传输啦(没有详细看)
更新ReplicationPosition

先暂时写到这, 目前replication log具体备份的细节没有看, 还有故障再分配的细节也还没看

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,905评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,140评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,791评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,483评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,476评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,516评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,905评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,560评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,778评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,557评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,635评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,338评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,925评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,898评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,142评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,818评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,347评论 2 342

推荐阅读更多精彩内容

  • 简介 [HBase]——Hadoop Database的简称,Google BigTable的另一种开源实现方式,...
    高广超阅读 2,332评论 1 27
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,580评论 18 139
  • kafka的定义:是一个分布式消息系统,由LinkedIn使用Scala编写,用作LinkedIn的活动流(Act...
    时待吾阅读 5,291评论 1 15
  • 本文转载自http://dataunion.org/?p=9307 背景介绍Kafka简介Kafka是一种分布式的...
    Bottle丶Fish阅读 5,424评论 0 34
  • 上一章 香案——结拜 晚上筱眠刚爬上游戏,无敌大神的组队就来了,队里还有另外一个不认识的奶爸大神。 [队伍]狂魔无...
    夏暖冬凉的故事阅读 335评论 1 1