Oracle Golden Gate - 概念和机制(OGG)

一、简述

OGG 提供异构环境下交易数据的实时捕捉、变换、投递。

二、OGG 的特性

  1. 对系统影响小:实时读取交易日志,以低资源占用实现大交易量数据实时复制。

  2. 以交易为单位复制,保证交易一致性:只同步已提交的数据。

  3. 高性能:

    • 智能的交易重组和操作合并
    • 使用数据库本地接口访问
    • 并行处理体系
  4. 灵活的拓扑结构:支持一对一、一对多、多对一、多对多和双向复制等

  5. 支持数据过滤和转换

    • 可以自定义基于表和行的过滤规则.
    • 可以对实时数据执行灵活影射和变换.
  6. 提供数据压缩和加密:降低传输所需带宽,提高传输安全性.

三、OGG 的进程

  1. Manager 进程是 GoldenGate 的控制进程,运行在源端和目标端上。它主要作用有以下几个方面:启动、监控、重启 Goldengate 的其他进程,报告错误及事件,分配数据存储空间,发布阀值报告等。在目标端和源端有且只有一个 manager 进程

  2. Extract 运行在数据库源端,负责从源端数据表或者日志中捕获数据。Extract 的作用可以按照阶段来划分为:

    • 初始时间装载阶段:在初始数据装载阶段,Extract 进程直接从源端的数据表中抽取数据
    • 同步变化捕获阶段:初始数据同步完成以后,Extract 进程负责捕获源端数据的变化(DML和DDL)
  3. Data Pump 进程运行在数据库源端,其作用是将源端产生的本地 trail 文件,把 trail 以数据块的形式通过 TCP/IP 发送到目标端,这通常也是推荐的方式。pump 进程本质是 extract 进程的一种特殊形式,如果不使用 trail 文件,那么 extract 进程在抽 取完数据以后,直接投递到目标端,生成远程 trail 文件。

  4. Collector 进程与 Data Pump 进程对应 的叫 Server Collector 进程,这个进程不需要引起我的关注,因为在实际操作过程中,无需我们对其进行任何配置,所以对我们来说它是透明的。它运行在目标端,其 任务就是把 Extract/Pump 投递过来的数据重新组装成远程 trail 文件。

  5. Replicat 进程,通常也把它叫做应用进程。运行在目标端,是数据传递的最后一站,负责读取目标端 trail 文件中的内容,并将其解析为 DML 或 DDL 语句,然后应用到目标数据库中。

四、关于 OGG 的 Trail 文件

  1. 为了更有效、更安全的把数据库事务信息从源端投递到目标端。GoldenGate 引进 trail 文件的概念。前面提到 extract 抽取完数据以后 Goldengate 会将抽取的事务信息转化为一种 GoldenGate 专有格式的文件。然后 pump 负责把源端的 trail 文件投递到目标端,所以源、 目标两端都会存在这种文件。

  2. trail 文件存在的目的旨在防止单点故障,将事务信息持久化,并且使用 checkpoint 机制来记录其读写位置,如果故障发生,则数据可以根据 checkpoint 记录的位置来重传 。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容