VirtualBox虚拟机 下载地址 下载择操作系统对应的基础安装包 下载扩展包（不区分操作系统） http://www.oracle.com/technetwork/cn/server storage/virtualbox/downloads/index.html 安装基础包 按照提示安装即可 扩 ...
分类：
其他好文 时间：
2018-09-10 18:32:59
阅读次数：
199
1 安装vsftpd组件 安装完后，有/etc/vsftpd/vsftpd.conf 文件，是vsftp的配置文件。 [root@hadoop1 ~]# yum -y install vsftpd 2 添加一个ftp用户 此用户就是用来登录ftp服务器用的。 [root@hadoop1 ~]# us ...
分类：
系统相关 时间：
2018-09-08 13:07:16
阅读次数：
154
今天来介绍新手学习hadoop的入门注意事项。这篇文章一来谈谈hadoop核心知识学习。 首先hadoop分为hadoop1.X和hadoop2.X，并且还有hadoop生态系统，那么下面我们以hadoop2.x为例进行详细介绍： Hadoop的核心是mapreduce和hdfs。 Mapreduc ...
分类：
其他好文 时间：
2018-08-13 14:11:37
阅读次数：
167
本篇只简单介绍安装步骤 1. 角色分配 10.11.84.4 web-crawler--1.novalocal master/slave 10.11.84.5 web-crawler--2.novalocal slave 10.11.84.6 web-crawler--3.novalocal sla ...
分类：
其他好文 时间：
2018-08-09 11:01:36
阅读次数：
187
一、MRUnit测试jar包mrunit-1.1.0-hadoop2.jar第三方依赖MRUnit\apache-mrunit-1.1.0-hadoop1-bin\lib二、在现有工程里面配置MRUnit单元测试1、新建一个userlib2、将MRUnitLib添加到mr工程，如下图：3、解决jar包冲突由于在MRUnitLib包中存在mockito-core-1.9.5.jar包，该包和E:\d
分类：
其他好文 时间：
2018-08-06 10:25:13
阅读次数：
153
一、集群的规划 Zookeeper集群： Hadoop集群： 二、准备工作 1、安装JDK：每台机器都需要安装 我这里使用的是jdk-8u152-linux-x64.tar.gz安装包 2、配置环境变量: 3、配置IP地址与主机名的映射关系 原因：方便SSH调用 方便Ping通 输入: 4、配置免密 ...
分类：
其他好文 时间：
2018-07-05 14:58:51
阅读次数：
219
Yarn的简单介绍 我们知道在离线大数据处理领域中，hadoop是目前无可厚非的处理架构，到目前为止hadoop已经有三个大版本，每个版本下都有架构方面的调整。 在hadoop1.0中有一些弊端，比如hdfs
分类：
其他好文 时间：
2018-06-17 13:36:15
阅读次数：
189
1.启动虚拟机，启动集群 此时我们将主机hadoop1关机(断掉主机)，开始抢救： 1.使用 秘书(secondaryNameNode)，成功率不是100% (这里我们把hadoop44作为新的nameNode) 2.zookeeper第三方代替 方法一secondaryNameNode： 1.修改 ...
分类：
其他好文 时间：
2018-06-02 14:55:45
阅读次数：
174
1.hdfs是属于什么架构高可用的分布式架构2.hdfs部署后进程哪些?按启动顺序说NameNode,DataNode,SecondaryNameNode3.一个文件180M，请问实际存储多少，多少块?多少maptask?（副本为3）540M,6块，假如文件支持分割，那么就2个maptask。假如文件是压缩的，那么正好压缩不支持分割，那么就一个maptask4.副本放置策略，来说说看就近分配5.s
分类：
其他好文 时间：
2018-06-01 14:28:28
阅读次数：
133
1.昨晚若泽分享了一个开源组件叫什么？hystrix2.jps如果看了信息不可用，我们该怎么做ps一下进程进入相应用户下去看3.hadooppid默认在哪?哪个变量和参数文件修改默认在/tmp目录下在hadoop-env.sh参数文件修改HADOOP_PID_DIR变量4.hdfs日志显示是在safemode，那么哪个命令可以尝试让hdfs离开安全模式hdfsdfsadmin-safemodele
分类：
其他好文 时间：
2018-05-28 11:50:33
阅读次数：
139
