在hadoop伪分布式环境搭建好之后,我们就可以进行hadoop应用的开发了。hadoop是用java写的,也提供了java开发包,我们需要先下载对应的jar包。
我是在网上找的一个jar包,因为我的是2.6.5,下的jar包就是hadoop-eclipse-plugin-2.6.5.jar,它的名字是不会变的,变的只是版本号,在网上搜一下就有。
下载完毕后,将这个jar包移动到eclipse安装目录的plugins目录下。如我的eclipse是在/opt目录下,因此将jar包移动到相应的位置:
mv hadoop-eclipse-plugin-2.6.5.jar /opt/eclipse/plugins
然后可以打开eclipse了,在eclipse的Window菜单下点击Preferences:
可以看到里面有个hadoop Map/Reduce:
将里面的路径改为自己电脑hadoop在的路径:
然后开始配置Map/Reduce Locations,配置前先在后台运行起hadoop,开启伪分布式的dfs。
然后点击Window,如下图:
弹出:
选择Map/Reduce,然后就会发现界面上多了一些东西。先看看下方出现的东西:
点击红色的地方,弹出界面,填写名字和端口号:
然后点击finish,又会发现界面变了一点了。点击左侧的DFS Locations,发现可以展开了,于是展开就可以看到hdfs里面的东西了:
至此,eclipse已经配置好了。
要建立hadoop工程,那就在新建project的时候选择map/reduce工程就是了。
这样它会将改添加的jar包都给加进去,我们就能顺利用eclipse进行开发了。