标签：平台 需要 win file sts hdfs 开启 native 代码
当CDH平台开启kerberos后，需要kdc服务验证通过和kerberos协议验证通过才可以。如果将spark程序部署在CDH 机器上，直接在生成keytab并使用principal登录kerberos即可。
如果当spark应用程序部署在第三方机器上时，还需要处理krb5.conf注册问题。
1）进入kerberos
kadmin.local
2)、查看kerberos人员
listprincs
3）、生成keytab文件
ktadd -k /home/demo/hive.keytab -norandkey hive@TEST.COM
4)、认证用户
kinit -kt /home/demo/hive.keytab hive@TEST.COM
5)、使用spark-submit提交
spark-submit --class com.rdc.bdata.compute.ParquetCommonRunner --keytab /home/demo/keytab --principal hive/bdp5@TEST.COM --master local[2] ... 其他参数设置。
其他步骤与第一个场景一致，有以下两个不一致的地方
1）、需要部署Spark环境
下载spark客户端环境并部署
2）、需要下载hive的配置文件，并将文件拷贝到spark环境的conf目录
在CDH平台上下载hive客户端配置文件，并将hdfs-site.xml、hive-site.xml、core-site.xml、yarn-site.xml拷贝到spark的conf目录中
3）、将krb5.conf拷贝到%java_home%/lib/security下面
如果不拷贝会报如下异常：
java.lang.IllegalArgumentException: Can‘t get Kerberos realm,具体异常的原因为Caused by: KrbException: Cannot locate default realm
解决过程:
问题分析:
Cannot locate default realm,顾名思义是没有设置default realm,kerberos设置default realm有两种方式
(1)通过设置系统属性,代码如下
System.setProperty("java.security.krb5.realm","");
System.setProperty("java.security.krb5.kdc","");
(2)读取kerberos配置文件配置,设置default realm。指定kerberos配置文件逻辑大概如下
该方式是通过读系统属性java.security.krb5.conf,如果为空的话则以%java_home%/lib/security/krb5.conf为配置文件
2.getNativeFileName()方法,在不同操作系统去读逻辑有区别
在Windows下是通过读取c:\Windows\krb5.ini路径,如果该路径为空的话,则以c:\winnt\krb5.ini为主
在linux下读取etc/krb5.conf
设置kerberos配置文件代码如下:
package sun.security.krb5; public class Config { private final String defaultRealm; private Config() throws KrbException { //....省略其他代码 this.defaultRealm = getProperty("java.security.krb5.realm"); if ((this.defaultKDC != null || this.defaultRealm == null) && (this.defaultRealm != null || this.defaultKDC == null)) { try { String var3 = this.getJavaFileName(); List var2; if (var3 != null) { var2 = this.loadConfigFile(var3); this.stanzaTable = this.parseStanzaTable(var2); if (DEBUG) { System.out.println("Loaded from Java config"); } } else { boolean var4 = false; if (isMacosLionOrBetter()) { try { this.stanzaTable = SCDynamicStoreConfig.getConfig(); if (DEBUG) { System.out.println("Loaded from SCDynamicStoreConfig"); } var4 = true; } catch (IOException var6) { } } if (!var4) { var3 = this.getNativeFileName(); var2 = this.loadConfigFile(var3); this.stanzaTable = this.parseStanzaTable(var2); if (DEBUG) { System.out.println("Loaded from native config"); } } } } catch (IOException var7) { } } else { throw new KrbException("System property java.security.krb5.kdc and java.security.krb5.realm both must be set or neither must be set."); } } private String getJavaFileName() { String var1 = getProperty("java.security.krb5.conf"); if (var1 == null) { var1 = getProperty("java.home") + File.separator + "lib" + File.separator + "security" + File.separator + "krb5.conf"; if (!this.fileExists(var1)) { var1 = null; } } if (DEBUG) { System.out.println("Java config name: " + var1); } return var1; } //其他代码省略 }
因为，使用spark-submit之前就需要获取krb5.conf参数，因此需要使用getJavaFileName()方法：将krb5.conf拷贝到jdk所在的目录中。
CDH开启kerberos后在第三方机器上部署Spark程序问题解决
标签：平台 需要 win file sts hdfs 开启 native 代码
原文地址：https://www.cnblogs.com/chhyan-dream/p/13492589.html
