我们在搭建好hadoop集群后,发现hdfs的存储容量只用到了每个节点的某个磁盘,而每个节点的其他磁盘并没有利用,上传较大的文件到hdfs时,会造成存储空间溢出的情况,可以通过hadoop配置文件配置挂接没有利用的磁盘增大hdfs容量
我的hdfs集群原先容量大小只有90G,但我发现整个集群的所以磁盘的的大小总和为500多G,解决办法:
在所有节点的的所以磁盘中创建相应的文件夹,作为该磁盘的hdfs数据存储位置,在所有节点的hadoop的hdfs-site.xml配置文件中添加如下配置内容:
<property>
<name>dfs.datanode.data.dir</name>
<value>/data</value>
<value>/home/xxx/data</value>
</property>
第一个value中的/data是固态硬盘的文件夹
第二个value中的/home/xxx/data是机械硬盘中的文件夹
最后总容量的大小