中心思想，设置kerberos环境变量时，发现JDK源码当中的一个问题，故描述如下。 在平时的使用中，如果hadoop集群配置kerberos认证的话，使用java访问hdfs或者hive时，需要先进行认证登陆，之后才可以访问。登陆代码大致如下： 设置krb5.conf和core-site.xml、 ...
分类：
其他好文 时间：
2018-12-15 19:55:05
阅读次数：
344
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.概述本文档描述WindowsServer2008R2（windows的内核版本是6.1，与windows7相同）下安装KerberosClient及FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的WebUI(如Namenode的50070，Yarn的8088)的过程。安装文档主要分为以下几步：
准备工作： 给hdfs里上传一份用于测试的文件 [root@master ~]# cat hello.txt hello 1 hello 2 hello 3 hello 4 [root@master ~]# hadoop fs -put ./hello.txt / [root@master ~]# ...
分类：
其他好文 时间：
2018-11-13 02:38:04
阅读次数：
194
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=xiaol, access=WRITE, inode="/xiaol":root:supergr ...
分类：
数据库 时间：
2018-11-13 02:24:43
阅读次数：
279
关于spark 的详细操作请参照spark官网 scala 版本：2.11.8 1.添加spark maven依赖，如需访问hdfs，则添加hdfs依赖 2.sparkcontext 的创建 sc 使用结束，记得关闭 3.创建rdd 1）parallelized 方法 2）读取外部数据 一个放重要的 ...
分类：
其他好文 时间：
2018-10-27 11:00:10
阅读次数：
139
1.启动hadoop.然后netstat -nltp|grep 50070,如果,没有找到进程,说明没有配置web界面的端口修改hdfs-site,xml中加上如下配置 如果你用的主机名:端口号,先去检查下/etc/hosts下的主机名的ip,是否配置的和你当前的ip相同,然后重新启动hadoop ...
分类：
Web程序 时间：
2018-08-18 00:42:59
阅读次数：
7077
HDFS的特点： 1.为超大文件而设计的，提供超大的数据贷款并能够在集群中扩展到成百上千个节点，实例能够支持千万数量级别的文件。 2.适用于流式的数据访问，HDFS适用于批处理，重点是保证高吞吐量而不是低延迟的用户响应。 3.完善的冗余备份机制。 4.支持简单的一致性模型：HDFS需要支持一次写入多 ...
分类：
其他好文 时间：
2018-08-12 21:42:34
阅读次数：
212
接着上一篇中安装hdfs后，直接在NameNode所在的服务器上安装JobTracker,而DataNode就是TaskTracker,所以只需要配置JobTracker就可以 找到NameNode所在的服务器上找到Hadoop对应的conf文件夹下，修改mapred-site.xml文件，添加Jo ...
分类：
其他好文 时间：
2018-08-05 18:06:07
阅读次数：
414
Hadoop安装1、linux准备2、jdk准备，设置环境变量3、hadoop下载准备，解压后./conf 需要配置4个文件 hadoop-env.sh 修改java_home的目录 core-site.xml 配置 工作目录、元数据目录、如何访问 hdfs-site.xml 配置数据的路径 map ...
分类：
其他好文 时间：
2018-07-13 00:05:34
阅读次数：
150
通过Java API来访问HDFS 1.Windows上配置环境变量 解压Hadoop，然后把Hadoop的根目录配置到HADOOP_HOME环境变量里面 然后把HADOOP_HOME/lib和HADOOP_HOME/bin配置到path里面 2.替换bin目录 将官网下载的Hadoop目录下面的b ...
分类：
编程语言 时间：
2018-06-17 12:35:06
阅读次数：
214
