oozie 5.1.0编译安装

一、准备工作

1、安装 oracle jdk 1.8.0 

    过程略。

2、安装 apache maven 3.6.0

    过程略。

3、安装 hadoop 2.7.6

    过程略。


二、oozie编译

1、版本

oozie:5.1.0

hadoop:2.7.6

hive:2.3.4

sqoop:1.4.7

hbase:1.2.9

2、oozie下载、环境变量设置

    下载:wget http://archive.apache.org/dist/oozie/5.1.0/oozie-5.1.0.tar.gz

    设置环境变量:

            export OOZIE_HOME=/usr/local/oozie-5.1.0

            export PATH=$PATH:$OOZIE_HOME/bin

3、修改pom.xml

<hadoop.version>2.7.6</hadoop.version>

        <hadoop.majorversion>2</hadoop.majorversion>

        <hadooplib.version>hadoop-${hadoop.majorversion}-${project.version}</hadooplib.version>

        <hbase.version>1.2.9</hbase.version>

        <!-- Sharelib component versions -->

        <hive.version>2.3.4</hive.version>

        <hive.jline.version>2.12</hive.jline.version>

        <hive.classifier>core</hive.classifier>

        <sqoop.version>1.4.7</sqoop.version>

4、编译

执行命令编译:

${OOZIE_HOME}/bin/mkdistro.sh -DskipTests -Puber -Phadoop-2 -Dhadoop.version=2.7.6 -Dhadoop.auth.version=2.7.6 -Ddistcp.version=2.7.6 -Dsqoop.version=1.4.7 -Dsqoop.classifier=hadoop260 -Dhive.version=2.3.4 -Dhbase.version=1.2.9 -Djetty.version=9.4.12.v20180830 -Dopenjpa.version=2.4.3 -Dxerces.version=2.12.0

编译过程中可能会出现以下错误:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.7.0:testCompile (default-testCompile) on project oozie-core: Compilation failure: Compilation failure:

解决方法,pom.xml增加:

<build>

    <plugin> 

        ... ...

    </plugin>

            <testSourceDirectory>/core/src/test/java</testSourceDirectory>

    </build>


ERROR] Failed to execute goal on project oozie-sharelib-sqoop: Could not resolve dependencies for project org.apache.oozie:oozie-sharelib-sqoop:jar:5.1.0: Could not find artifact org.apache.sqoop:sqoop:jar:${sqoop.classifier}:1.4.7 in central (http://central.maven.org/maven2/) -> [Help 1]

解决方法,pom.xml修改:

<sqoop.classifier>hadoop260</sqoop.classifier>

截止这里我们编译工作完成啦



三、安装oozie server

1、将编译好的文件放入/usr/local/oozie-5.1.0/

    cp distro/target/oozie-5.1.0-distro.tar.gz /home/

    cd ..

    mv oozie-5.1.0 oozie-5.1.0-bak

    tar -zxvf /home/oozie-5.1.0-distro.tar.gz -C /usr/local/

2、修改oozie-site.xml

<property>

            <name>oozie.service.JPAService.jdbc.driver</name>

            <value>com.mysql.jdbc.Driver</value>

</property>

<property>

                <name>oozie.service.JPAService.jdbc.url</name>

                <value>jdbc:mysql://localhost:3306/oozie</value>

</property>

<property>

                <name>oozie.service.JPAService.jdbc.username</name>

                <value>root</value>

</property>

<property>

                <name>oozie.service.JPAService.jdbc.password</name>

                <value>root</value>

</property>

<property>

                <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>

                <value>*=/usr/local/hadoop-2.7.6/etc/hadoop/</value>

 </property>

<property>

                <name>oozie.service.WorkflowAppService.system.libpath</name>

                <value>hdfs://localhost:9000/user/${user.name}/share/lib</value>

 </property>

3、在hadoop的配置文件core-site.xml中追加配置oozie代理用户

hadoop.proxyuser.root.hosts

root

hadoop.proxyuser.root.groups

root

需要分发到各节点

4、创建 libext目录,并将下载好的ext-2.2.zip以及mysql驱动包(例如:mysql-connector-java-5.1.47.jar)复制到libext目录下。

cd  ${OOZIE_HOME}

mkdir libext

wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip

5、解压tar文件

tar -zxvf ./oozie-5.1.0/oozie-sharelib-5.1.0.tar.gz

tar -zxvf oozie-sharelib-5.1.0.tar.gz

tar -zxvf oozie-examples.tar.gz

6、将share上传到hdfs上

./bin/oozie-setup.sh sharelib create -fs hdfs://localhost:9000 -locallib oozie-sharelib-5.1.0.tar.gz

7、将mysql-connector-java-5.1.47.jar 拷贝到${OOZIE_HOME} /lib目录

8、数据库设置

在mysql中创建名为oozie的数据库,并在执行:

bin/ooziedb.sh create -sqlfile oozie.sql -run

9、启动oozie

bin/oozie-start.sh

10、检查oozie状态

oozie admin -oozie http://localhost:11000/oozie -status

启动成功



四、测试

1、将examples上传服务器

hadoop fs -put ./examples/ hdfs://localhost:9000/user/root/

2、测试shell任务

cd examples/apps/shell

注意:job.properties中nameNode要改成自己的hdfs的namenode地址,resourceManager同理要改成自己yarn resourceManager的地址。

执行任务:oozie job -oozie http://localhost:11000/oozie -config ./job.properties -run

执行任务

查看任务状态:oozie job -oozie http://localhost:11000/oozie -info 0000000-190411173737717-oozie-root-W

任务完成

如果logs/中日志文件为空,或者

oozie job -oozie http://localhost:11000/oozie -log 0000000-190411173737717-oozie-root-W

看不到任何日志,可能是jar包冲突,在lib、文件中看下log4j-相关的jar包有2.0版本的,如果有将其删除,然后重启。

好啦,oozie 5.1.0安装完成!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343

推荐阅读更多精彩内容