关于Eclipse的Hadoop环境的配置,可以参考这两篇博文:
1、Windows7下面eclipse(4.5.2)& hadoop2.7.2 开发环境配置
2、Hadoop集群(第7期)_Eclipse开发环境设置
以下是本人在为Eclipse配置Hadoop开发环境时遇到的坑:
坑1:DFS Location下的文件显示没有权限(参考博文里面也有提到另一种方案):
解决方案:修改hdfs-site.xml配置文件的dfs.permissions为false,
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
坑2:端口号的问题。在core-site.xml文件和mapred-site.xml文件配置的端口号必须对应,如下图所示:
这是mapred-site.xml里面mapred.job.tracker的端口对应Eclipse中的Map/Reduce Master端口:
这是在core-site.xml里的DFS对应的fs.defaultFS的端口,对应Eclipse中的DFS Master端口:
坑3:运行WordCount示例程序,报Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "Harlan/[192.168.31.1](qq://txfile/#)"; destination host is: "hadoop":50070;
的异常。
这又是端口问题,在main方法里面传入的两个参数的IP地址要正确,并且端口号需要和core-site.xml里面的fs.defaultFS的端口号对应(这就是初学者的痛《;。;》):