hadoop+spark 伪分布式安装

基本环境及软件:

软件版本 软件包
centos-6.x
JDK-1.8 jdk-8u112-linux-x64.tar.gz
scala-2.11.8 jdk-8u112-linux-x64.tar.gz
hadoop-2.7 hadoop-2.7.4.tar.gz
spark-2.1.2 spark-2.1.2-bin-hadoop2.7.tgz

键入命令如下,安装hadoop所需的基础软件:

    yum install -y ssh pdsh

jdk和scala安装

1、键入如下命令将jdk软件包解压至指定目录:

tar -zxvf jdk-8u112-linux-x64.tar.gz -C /usr/local/

2、键入如下命令将scala软件包解压至指定目录:

 tar -zxvf scala-2.11.8.tgz -C /usr/local/

3、键入如下命令编辑profile文件:

vim /etc/profile

4、设置jdk和scala环境变量,在profile文件的末尾添加如下内容:

export JAVA_HOME=/usr/local/jdk1.8.0_112
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$PATH

5、键入如下命令让,环境变量立即生效:

source /etc/profile

6、检查jdk

[root@localhost ~]# java -version
java version "1.8.0_112"
Java(TM) SE Runtime Environment (build 1.8.0_112-b15)
Java HotSpot(TM) 64-Bit Server VM (build 25.112-b15, mixed mode)

7、检查scala

[root@localhost ~]# scala -version
Scala code runner version 2.11.8 -- Copyright 2002-2016, LAMP/EPFL

解压&安装hadoop

1、键入如下命令将hadoop软件包解压至指定目录:

tar -zxvf hadoop-2.7.4.tar.gz -C /usr/local/

2、键入如下命令,给hadoop添加java环境变量:

vim /usr/local/hadoop-2.7.4/etc/hadoop/hadoop-env.sh

hadoop-env.sh文件中添加如下内容:

export JAVA_HOME=/usr/local/jdk1.8.0_112

3、修改hadoop配置文件:

1)键入如下命令,切换至hadoop配置文件目录:

/usr/local/hadoop-2.7.4/etc/hadoop

2)编辑core-site.xml配置文件,添加如下内容:

<configuration>
    <!--指定NamNode通信地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
   <!--指定Hadoop运行时产生文件的存储路径-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
</configuration>

3)编辑hdfs-site.xml配置文件,添加如下内容:

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/opt/hadoop/hdfs/name</value>
        <description>namenode上存储hdfs名字空间元数据 </description>
    </property>

    <property>
        <name>dfs.data.dir</name>
        <value>/opt/hadoop/hdfs/data</value>
        <description>datanode上数据块的物理存储位置</description>
    </property>

    <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4)编辑mapred-site.xml配置文件,配置mapreducer框架运行在yarn上:

键入如下命令复制mapred-site.xml配置文件:

cp mapred-site.xml.template mapred-site.xml

mapred-site.xml配置文件内容如下:

<configuration>
<!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4)编辑yarn配置yarn-site.xml,添加如下内容:

<configuration>
<!--reducer取数据的方式是mapreduce_shuffle-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

4、键入如下命令,创建hadoop数据目录:

mkdir -p /opt/hadoop/{tmp,hdfs/{data,name}}

5、键入如下命令,配置免密钥登录:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

6、开启防火墙端口:

键入如下命令,编辑防火墙配置文件:

vim /etc/sysconfig/iptables

添加如下内容:

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8088 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 50070 -j ACCEPT

重启防火墙:

service iptables restart

7、格式化hdfs,只需要在第一次安装的时候格式化hdfs,命令如下:

/usr/local/hadoop-2.7.4/bin/hdfs namenode -format

8、键入如下命令,启动hdfs和yarn:

/usr/local/hadoop-2.7.4/sbin/start-all.sh

9、在浏览器中分别输入如下地址校验,hadoop是否安装成功:
1)hadoop管理界面:http://{your_ip_address}:50070/
2)hadoop集群状态界面:http://{your_ip_address}:8088/

解压&安装spark

1、键入如下命令将spark软件包解压至指定目录:

tar -zxvf spark-2.1.2-bin-hadoop2.7.tgz -C /usr/local/

2、编辑spark环境变量配置文件:
键入如下命令复制spark-env.sh配置文件

cp spark-env.sh.tamplate spark-env.sh

spark-env.sh配置文件中添加如下内容:

export SCALA_HOME=/usr/local/scala-2.11.8
export JAVA_HOME=/usr/local/jdk1.8.0_112
export HADOOP_HOME=/usr/local/hadoop-2.7.4
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export SPARK_MASTER_IP=localhost
export SPARK_LOCAL_IP=localhost
export SPAPK_LOCAL_DIRS=/usr/local/spark-2.1.2-bin-hadoop2.7
export SPARK_DRIVER_MEMORY=1G

3、在slave配置文件中添加如下内容:

localhost

4、键入如下命令,启动spark:

/usr/local/spark-2.1.2-bin-hadoop2.7/sbin/start-all.sh

mapreduce 和 spark wordcount测试

1、创建WordCount.txt文件,内容如下:

Hello hadoop
hello spark

2、在hdfs中创建一个目录wordcount,并上传WordCount.txt文件,命令如下:
创建目录:

hadoop fs -mkdir /wordcount

上传文件:

hadoop fs -put -f WordCount.txt /wordcount

3、编写wordcount程序并执行:
1)mapreduce 版本示例代码,跳转至github地址

将git上的程序编译之后上传至hadoop服务器,键入如下命令运行mapreduce:

hadoop jar mapreduce-wordcount.jar org.cooze.hadoop.mapreduce.wordcount.WordCount /wordcount /output

  1. spark java版本示例代码,跳转至github地址

    将git上的程序编译之后上传至hadoop服务器,键入如下命令将spark程序提交到spark中运行:
spark-submit --master spark://localhost:7077 \
 --name WordCount --class org.cooze.hadoop.spark.wordcount.java.WordCount \
  --executor-memory 512M --total-executor-cores 2 \
  ./spark-wordcount-java.jar /wordcount

  1. spark scala版本示例代码,跳转至github地址

    将git上的程序编译之后上传至hadoop服务器,键入如下命令将spark程序提交到spark中运行:
spark-submit --master spark://localhost:7077 \
 --name WordCount --class org.cooze.hadoop.spark.wordcount.scala.WordCount \
  --executor-memory 512M --total-executor-cores 2 \
  ./spark-wordcount-scala.jar /wordcount

  1. spark python版本示例代码,跳转至github地址

    键入如下命令将spark程序提交到spark中运行:
spark-submit --executor-memory 512M --total-executor-cores 2 \
spark-wordcount-python.py 
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容