黑猴子的家:Hadoop 编译源码支持snappy压缩

1、CentOS联网

[root@node1 ~]# ping www.baidu.com
PING www.a.shifen.com (61.135.169.121) 56(84) bytes of data.
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=1 ttl=128 time=21.2 ms
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=2 ttl=128 time=20.0 ms
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=3 ttl=128 time=22.1 ms
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=4 ttl=128 time=17.1 ms
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=5 ttl=128 time=20.2 ms
64 bytes from 61.135.169.121 (61.135.169.121): icmp_seq=6 ttl=128 time=21.8 ms
**尖叫提示:采用****root****角色编译,减少文件夹权限出现问题**

2、jar包准备(hadoop源码、JDK7 、 maven、 ant 、protobuf)

hadoop版本>=2.7:要求Java 7(openjdk/oracle)
hadoop版本<=2.6:要求Java 6(openjdk/oracle)
(1)hadoop-2.8.2-src.tar.gz
(2)jdk-7u79-linux-x64.gz
(3)apache-ant-1.9.9-bin.tar.gz
(4)apache-maven-3.0.5-bin.tar.gz
(5)protobuf-2.5.0.tar.gz
(6)snappy-1.1.3.tar.gz

3、jdk安装

Jdk解压、配置环境变量 JAVA_HOME和PATH

[root@node1 software]# tar -xzvf jdk-7u79-linux-x64.gz -C /opt/module/
[root@node1 software]# vi /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
[root@node1 software]# source /etc/profile
[root@node1 software]# java -version
**尖叫提示:所有操作必须在****root****用户下完成**

4、Maven安装

Maven解压、配置环境变量 MAVEN_HOME和PATH

[root@node1 software]# tar -xzvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/
[root@node1 software]# vi /etc/profile
#MAVEN_HOME
export MAVEN_HOME=/opt/module/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin
[root@node1 software]# source /etc/profile
[root@node1 software]# mvn -version

5、ant安装

ant解压、配置环境变量 ANT_HOME和PATH

[root@node1 software]# tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/module/
[root@node1 software]# vi /etc/profile
#ANT_HOME
export ANT_HOME=/opt/module/apache-ant-1.9.9
export PATH=$PATH:$ANT_HOME/bin
[root@node1 software]# source /etc/profile
[root@node1 software]# ant -version

6、安装 glibc-headers 和 g++

[root@node1 software]# yum install glibc-headers
[root@node1 software]# yum install gcc-c++

7、安装make和cmake

[root@node1 software]# yum install make
[root@node1 software]# yum install cmake

8、 protobuf安装

protobuf解压、编译、安装、配置环境变量 LD_LIBRARY_PATH和PATH

[root@node1 software]# tar -xzvf protobuf-2.5.0.tar.gz -C /opt/module/
[root@node1 software]# cd /opt/module/protobuf-2.5.0/
[root@node1 protobuf-2.5.0]# ./configure
[root@node1 protobuf-2.5.0]# make
[root@node1 protobuf-2.5.0]# make check
[root@node1 protobuf-2.5.0]# make install 
[root@node1 protobuf-2.5.0]# ldconfig 
[root@node1 protobuf-2.5.0]# vi /etc/profile
#LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
export PATH=$PATH:$LD_LIBRARY_PATH
[root@node1 protobuf-2.5.0]# source /etc/profile
[root@node1 protobuf-2.5.0]# protoc --version

9、安装openssl库

[root@node1 software]# yum install openssl-devel

10、安装 ncurses-devel库

[root@node1 software]# yum install ncurses-devel

11、安装 其他编译库

[root@node1 software]# yum install svn
[root@node1 software]# yum install autoconf automake libtool cmake
[root@node1 software]# yum install gcc*

12、编译安装snappy

snappy解压、编译、安装

[root@node1 software]# tar -xzvf snappy-1.1.3.tar.gz -C /opt/module/
[root@node1 software]# cd /opt/module/snappy-1.1.3/
[root@node1 snappy-1.1.3]# ./configure
[root@node1 snappy-1.1.3]# make
[root@node1 snappy-1.1.3]# make install

#查看snappy库文件
[root@node1 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy

13、编译安装protobuf

protobuf 解压、编译、安装

[root@node1 software]# tar -xzvf protobuf-2.5.0.tar.gz -C /opt/module/
[root@node1 software]# cd /opt/module/ protobuf-2.5.0/
[root@node1 protobuf-2.5.0]# ./configure
[root@node1 protobuf-2.5.0]# make
[root@node1 protobuf-2.5.0]# make install

查看protobuf版本是否安装成功
[root@node1 protobuf-2.5.0]# protoc --version

14、编译Hadoop 源码

Hadoop 源码解压、编译

[root@node1 software]# tar -xzvf hadoop-2.8.2-src.tar.gz -C /opt/module
[root@node1 software]# cd /opt/module/hadoop-2.8.2-src

[root@node1 hadoop-2.8.2-src]# mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy
等待时间20分钟左右,最终成功是全部SUCCESS执行成功后,/opt/module /hadoop-2.8.2-src/hadoop-dist/target/hadoop-2.8.2.tar.gz即为新生成的支持snappy压缩的hadoop二进制安装包, 
 编译期间maven报错,可能网络阻塞问题导致依赖库下载不完整导致,多次执行命令(一次通过比较难)

15、常见的问题及解决方案

编译期间maven报错,可能网络阻塞问题导致依赖库下载不完整导致,多次执行命令(一次通过比较难)
1)修改maven仓库地址

[root@node1 ~]# cd /opt/module/apache-maven-3.0.5/conf
[root@node1 conf]# pwd
/opt/module/apache-maven-3.0.5/conf
[root@node1 conf]# vim settings.xml
<localRepository>/opt/module/apache-maven-3.0.5/repository</localRepository>

2)修改maven镜像,下载大部分依赖库后,再删除添加的镜像,否则有的依赖库下载不下来

<mirrors>

      <mirror>
           <id>nexus-aliyun</id>
           <name>Nexus aliyun</name>
           <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
           <mirrorOf>central</mirrorOf>
      </mirror>

      <mirror>
           <id>repo2</id>
           <name>Mirror from Maven Repo2</name>
           <url>http://repo2.maven.org/maven2/</url>
           <mirrorOf>central</mirrorOf>
      </mirror>

      <mirror>
           <id>centor</id>
           <name>Mirror from Maven central</name>
           <url>http://central.maven.org/maven2/</url>
           <mirrorOf>central</mirrorOf>
     </mirror>

 </mirrors>
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342

推荐阅读更多精彩内容