背景描述： 最近在进行安全扫描的时候，说hadoop存在漏洞，Hadoop 未授权访问【原理扫描】，然后就参考官方文档及一些资料，在测试环境中进行了开启，中间就遇到了很多的坑，或者说自己没有想明白的问题，在此记录下吧，这个问题搞了2天。 环境描述： hadoop版本：2.6.2 操作步骤： 1.想要 ...
分类：
其他好文 时间：
2019-08-15 19:14:01
阅读次数：
93
修改内核参数 文件系统限制 为了避免集群中的任何文件描述符错误，需要增加单个用户或者进程一次打开文件数量的限制 [root@test ~]# ulimit -Sn //最大文件数软限制1024[root@test ~]# ulimit -Hn //最大文件数硬限制 4096 [root@test ~ ...
分类：
其他好文 时间：
2019-06-27 00:55:05
阅读次数：
117
Hadoop 服务划分 使用三台节点，集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager ...
分类：
其他好文 时间：
2019-03-30 23:59:19
阅读次数：
346
HAdoop集群实战一:Zookeeper集群部署HAdoop集群实战二:Hadoop集群部署HAdoop集群实战三:Namenode高可用HA部署HAdoop集群实战四:Hbase集群部署HAdoop集群实战五:Hive集群部署HAdoop集群实战六:Kafka集群部署HAdoop集群实战七:Hive、Hbase集群整合...待更新HAdoop集群实战八:Hive、Hbase集群整合测试...待
分类：
其他好文 时间：
2019-01-25 19:21:51
阅读次数：
208
CentOS7.4下部署hadoop3.1.1 契机 由于工作原因要部署hadoop的集群,习惯使用最新的稳定版本2018年的时候由于时间紧破部署了2.7.2版本,最新由于又要部署有研究了一下3.x的部署.这次 研究通了,在这里记录一下,防止以往. 本次部署的是一个可用的集群,不是高可用的,因为高可 ...
分类：
其他好文 时间：
2019-01-25 18:48:00
阅读次数：
196
一：首先要将linux 和winodws的exlipse关联起来 第一步：在windows中部署hadoop包：解压一个hadoop压缩文件 第二步：将解压后的hadoop文件目录下的bin文件中的文件全部被替换成下面文件夹下的文件 第三步：将替换后的文件夹下的一个hadoop.dll复制到wind ...
分类：
编程语言 时间：
2019-01-11 15:56:53
阅读次数：
224
在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处有: 在应用端不用部署Hadoop和Hive客户端； 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 有安全认证机制，并且支持自定义权限校验； 有HA机制，解决应用端的并发 ...
分类：
其他好文 时间：
2019-01-05 13:34:41
阅读次数：
204
参考 1. "Cloudera Enterprise 5.16.x" 2. "Installing Cloudera Manager, CDH, and Managed Services" 3. "Installation Path B Manual Installation Using Cloud ...
分类：
其他好文 时间：
2018-12-27 22:59:00
阅读次数：
2794
记录在虚拟机中部署Hadoop的步骤，涉及到虚拟机VMware、CentOs、JDK的安装，以及Xshell 6的安装使用（为了省去虚拟机和主机之间界面的切换和鼠标的切换） ...
分类：
其他好文 时间：
2018-12-18 02:35:47
阅读次数：
219
