如何使用Ora2Pg迁移Oracle数据库到openGauss

Ora2Pg介绍

Ora2Pg是一个将Oracle迁移至PostgreSQL的开源工具,通过连接Oracle数据库,自动扫描并提取其中的对象结构及数据,产生SQL脚本,通过手动或自动的方式将其应用到PostgreSQL。

官方网站:https://ora2pg.darold.net/

Ora2Pg优秀特性

支持导出数据库绝大多数对象类型,包括表、视图、序列、索引、外键、约束、函数、存储过程等。

提供PL/SQL到PL/PGSQL语法的自动转换,一定程度避免了人工修正。

可生成迁移报告,包括迁移难度评估、人天估算。

可选对导出数据进行压缩,节约磁盘开销。

配置选项丰富,可自定义迁移行为。

Ora2Pg在openGauss的应用

Ora2Pg主要语言是perl,使用Perl DBI模块,通过DBD:Pg连接PostgreSQL目标数据库,openGauss兼容PostgreSQL的通信协议以及绝大部分语法,因此只需作部分命名上的修改,Ora2Pg同样可应用于openGauss。

Ora2Pg使用示例

对于对象结构,Ora2Pg将其DDL语句导出到SQL文件中,对于表数据,则既可以以INSERT或COPY命令导出到文件,也支持直接导入到目标数据库,不需要产生中间SQL文件。

为了完成上述过程,Ora2Pg工具同时支持命令行和一键式脚本的方式完成迁移。命令行方式通过Ora2Pg二进制分布执行各条命令,来完成对应的步骤;一键式脚本通过创建迁移项目,分别得到导出导入脚本以及迁移目录模板,脚本集成了若干Ora2Pg命令以及导入SQL文件所需的psql命令(openGauss为gsql),用户只需要执行两个脚本即可完成迁移。本次主要演示脚本的方式。

1. 依赖安装

Ora2Pg语言为perl,故需安装所需perl模块。

#root用户下操作

yum install -y perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker

yum install perl-CPAN

安装DBI、DBD:Pg、DBD:Oracle,Ora2Pg依赖这些软件去连接数据库。

perl -MCPAN -e 'install DBI'

perl -MCPAN -e 'install DBD::Pg'

安装DBD:Oracle,需要先安装Oracle Instant Client或者本地已安装Oracle数据库。

#从Oracle官方下载并安装Oracle Instant Client

rpm -ivh oracle-instantclient19.11-basic-19.11.0.0.0-1.x86_64.rpm

rpm -ivh oracle-instantclient19.11-devel-19.11.0.0.0-1.x86_64.rpm

rpm -ivh oracle-instantclient19.11-jdbc-19.11.0.0.0-1.x86_64.rpm

rpm -ivh oracle-instantclient19.11-sqlplus-19.11.0.0.0-1.x86_64.rpm

#设置环境变量ORACLE_HOME

export ORACLE_HOME=/usr/lib/oracle/19.11/client64/

#或者本地已安装有Oracle数据库

ORACLE_HOME如下设置

export ORACLE_HOME=/opt/oracle/product/19c/dbhome_1

export LD_LIBRARY_PATH=$ORACLE_HOME/lib

#安装DBD:Oracle

perl -MCPAN -e 'install DBD::Oracle'

2. Ora2Pg安装并创建迁移项目

源码路径:https://github.com/darold/ora2pg

#进到代码目录下,为目标安装路径

perl Makefile.PL PREFIX=<your_install_dir>

make && make install

#设置环境变量,查看是否安装成功.为下载的代码路径

export PERL5LIB=<source_code_dir>/lib

export PATH=$PATH:<your_install_dir>/usr/local/bin

ora2pg --help

#创建迁移项目

ora2pg --init_project oramig

创建迁移项目后会在当前目录下生成oramig目录模板,如下所示。其中主要包含两个脚本export_schema.sh和import_all.sh,后续导出和导入即使用这两个脚本。schema和sources目录存放各对象的DDL语句,区别在于schema存放PL/SQL语法转化为PL/PGSQL后的语句, sources目录存放转化前PL/SQL的语句,data目录存放表数据文件,config目录包含配置文件ora2pg.conf,reports目录存放迁移报告。

至此您已可以使用Ora2Pg命令,以下是使用该命令时允许指定的部分命令行参数,这些参数都可以在ora2pg.conf设置,指定配置文件时,命令行选项指定的值会覆盖配置文件中的对应值。

Usage: ora2pg [-dhpqv --estimate_cost --dump_as_html] [--option value]

-a | --allow str  : 指定允许导出的对象列表,使用逗号分隔。

-b | --basedir dir: 设置默认的导出目录,用于存储导出SQL文件。

-c | --conf file  : 设置配置文件路径。

-e | --exclude str: 指定导出时排除的对象列表,使用逗号分隔。

-i | --input file : 指定要导入的SQL文件,导入文件时不需要连接到 Oracle 数据库。

-o | --out file   : 设置导出的 SQL 文件的存储路径。默认值为当前目录下的 output.sql 文件。

-p | --plsql      : 启用 PLSQL 代码到 PLPGSQL 代码的转换。

-s | --source DSN : 设置 Oracle DBI 数据源。

-t | --type export: 设置导出类型。该参数将会覆盖配置文件中的导出类型(TYPE)。

-u | --user name  : 设置连接 Oracle 数据库连接的用户名。也可以使用 ORA2PG_USER 环境变量。

-w | --password pwd : 设置连接 Oracle 数据库的用户密码。也可以使用 ORA2PG_PASSWD 环境变量。

--init_project NAME: 初始化典型的Ora2Pg项目,生成目录模板。

--view_as_table str: 将视图导出为表,多个视图使用逗号分隔。

3. 配置Ora2Pg

ora2pg.conf文件包含所有配置选项,通过配置项可以自定义迁移时的行为。这里简单介绍几个常用的配置项。

ORACLE_HOME:设置环境变量ORACLE_HOME,DBD:Oracle模块使用该变量查找所需的Oracle库。设置方式在依赖安装中已涉及。

ORACLE_DSN:该参数以标准DBI DSN形式设置数据源名称,例如:

ORACLE_DSN dbi:Oracle:host=oradb_host.myhost.com;sid=DB_SID;port=1521

或者

ORACLE_DSN dbi:Oracle:DB_SID

第二种方式需要在$ORACLE_HOME/network/admin/tnsnames.ora 文件或者环境变量 TNS_ADMIN 指定目录下的 tnsnames.ora 文件中定义 SID。

ORACLE_USER, ORACLE_PWD:这两个参数用于定义Oracle数据库连接的用户名和密码。请注意,如果可以的话,以Oracle超级管理员身份登录,以避免在数据库扫描时遇到权限问题,以及丢失内容。

PG_DSN:设置目标数据库名称,如下为openGauss示例,连接IP为localhost,端口为5432,名称为mydb的数据库。

PG_DSN dbi:Pg:dbname=mydb;host=localhost;port=5432

PG_USER,PG_PWD:设置目标数据库的用户、密码。请注意,这里使用的用户需要有远程连接openGauss的权限,以及对对应数据库的读写权限,具体是运行Ora2Pg所在的机器和该用户需要在openGauss的远程访问白名单里。

SCHEMA:此参数用于设置要导出的schema。如下,将提取APPS下的对象。

SCHEMA APPS

ORA_INITIAL_COMMAND:该参数可用于在连接之后向Oracle发送初始命令。例如,在读取对象前关闭访问限制策略,或设置一些会话参数。

TYPE:设置要导出的对象类型,包括表、视图、序列、索引、外键、约束、函数、存储过程等,默认为TABLE。如下,将导出普通表和视图。

TYPE TABLE VIEW

更多更详细的配置项说明,可查看官网:

https://ora2pg.darold.net/documentation.html

连接测试:配置好Oracle数据库的DSN之后,可执行以下命令测试数据库的连接。

ora2pg -t SHOW_VERSION -c config/ora2pg.conf

以上命令将显示Oracle数据库的版本。

4. 执行迁移脚本

本次演示的配置如下,以system用户连接目标数据库

修改export_schema.sh中导出类型,本次迁移导出表和函数。

执行导出脚本,等待迁移完成。结束后在schema和source的子目录下生成对应类型的DDL文件,并在末尾给出导出表数据的命令。

sh export_schema.sh

同时reports目录下也生成html格式的迁移报告。

执行导入脚本之前需要做如下准备:

1. 先在openGauss库中创建数据库,并在该数据库下创建用户,把mydb属主设为该用户。(import_all.sh中使用PostgreSQL特有的createuser和createdb创建用户和数据库)

2. 为了使用openGauss命令行工具gsql,需要将数据库的bin和lib加在操作系统的环境变量PATH和LD_LIBRARY_PATH中。

3. 将import_all.sh里的psql修改为gsql。

4. 当使用普通用户导入数据时,可增加一个执行该脚本的选项,指定用户密码,避免频繁输入密码。

执行导入脚本,表示使用用户testuser登录名为mydb的数据库,ip和端口分别是127.0.0.1和5432,-f选项表示跳过用户和数据库是否需要创建的检查。

sh import_all.sh -d mydb -o testuser –h 127.0.0.1 -p 5432 –f

执行后会交互式提示是否导入各对象结构及数据,如下所示。(其中的-w是手动修改import_all.sh脚本,添加密码选项)

对于表的索引和约束,可选择延迟导入,即在导入数据之后。

登录openGauss数据库查看迁移结果。

Ora2Pg不足

Ora2Pg对PL/SQL和PL/PGSQL的语法转换处理采用正则表达式和文本替换的方式,先天设计不足,很难覆盖所有的语法,目前仅支持部分转换。因此,Ora2Pg可以满足SQL简单的应用迁移,对于复杂的语法,并不能完全保证转换的正确性,需要对生成的SQL语句进行核对,必要时需要人工修正。

更多内容请参考:

https://docs.opengauss.org/zh/docs/3.1.0/docs/BriefTutorial/BriefTutorial.html

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容