使用API访问开启安全Kerberos的Hdfs
hadoop集群(cdh集群)在开启kerberos安全认证方式后，通常如果在集群shell客户端通过hadoop dfs命令访问的，经过kinit登录kerberos认证即可 ，如下所示
如果不进行kinit登录kerberos用户，则不能进行hdfs操作，如图直接会报安全异常!
20170722105233283.jpg
而如果进行kinit登录后就能进行hdfs操作了，通过kinit user@YOU-REALM 然后输出密码就能在当前交互下获取kerberos票据授权票据
20170722105558934.jpg
而如果通过程序在远程进行访问，显然不能再通过kinit来进行登录了，此时需要通过keytab文件来进行访问，keytab文件生成这里不在进行说明，主要说明获取keytab文件后如果通过代码来进行访问
package com.test.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.apache.hadoop.security.UserGroupInformation;
import javax.security.auth.Subject;
import java.io.IOException;
import java.net.URI;
import java.security.PrivilegedExceptionAction;
public class HdfsTest {
public static void main(String[] args) throws Exception {
test1();
}
//kerberos
public static void test1() throws Exception{
//设置java安全krb5配置，其中krb5.conf文件可以从成功开启kerberos的集群任意一台节点/etc/krb5.conf拿到,
//这里应该也可以直接设置一下两个属性获取 ，我没有测试这个
//System.setProperty("java.security.krb5.realm","YOU-REALM.COM");
//System.setProperty("java.security.krb5.KDC","kdc_hostname");
System.setProperty("java.security.krb5.conf", "E:\\test\\krb5.conf")
Configuration conf = new Configuration();
//这里设置namenode新
conf.set("fs.defaultFS", "hdfs://namenode:8020");
//需要增加hadoop开启了安全的配置
conf.setBoolean("hadoop.security.authorization", true);
//配置安全认证方式为kerberos
conf.set("hadoop.security.authentication", "Kerberos");
//设置namenode的principal
conf.set("dfs.namenode.kerberos.principal", "hdfs/_HOST@YOU-REALM.COM");
//设置datanode的principal值为“hdfs/_HOST@YOU-REALM.COM”
conf.set("dfs.datanode.kerberos.principal", "hdfs/_HOST@YOU-REALM.COM");
//通过hadoop security下中的 UserGroupInformation类来实现使用keytab文件登录
UserGroupInformation.setConfiguration(conf);
//设置登录的kerberos principal和对应的keytab文件，其中keytab文件需要kdc管理员生成给到开发人员
UserGroupInformation.loginUserFromKeytab("user01@YOU-REALM.COM","E:\\test\\user01.keytab");
//获取带有kerberos验证的文件系统类
FileSystem fileSystem1 = FileSystem.get(conf);
//测试访问情况
Path path=new Path("hdfs://namenodehost:8020/user/user01");
if(fileSystem1.exists(path)){
System.out.println("===contains===");
}
RemoteIterator<LocatedFileStatus> list=fileSystem1.listFiles(path,true);
while (list.hasNext()){
LocatedFileStatus fileStatus=list.next();
System.out.println(fileStatus.getPath());
}
}
}
注意：
//设置namenode的principal
conf.set("dfs.namenode.kerberos.principal", "hdfs/_HOST@YOU-REALM.COM");
//设置datanode的principal值为“hdfs/_HOST@YOU-REALM.COM”
conf.set("dfs.datanode.kerberos.principal", "hdfs/_HOST@YOU-REALM.COM");
这俩项的值在hdfs-site.xml配置文件中
