hadoop 2.8.4 部署我就不说了 网上一大堆 hdfs site.xml datanode 储存路径挂载需要修改如下： 我们模拟假设你有ssd/ram disk挂载, 创建好以下目录 把一个默认[DISK]储存的文件变成[SSD]储存步骤 / 如果你想把一个目录下文件变成某种策略，也可以按照 ...
分类：
其他好文 时间：
2018-07-30 20:17:09
阅读次数：
670
这个问题可能是我第一个遇到吧，hadoop启动时WARNING: HADOOP_SECURE_DN_USER has been
replaced by HDFS_DATANODE_SECURE_USER. Using value of
HADOOP_SECURE_DN_USER.错误。解决方案，在$ vim sbin/start-dfs.sh $ vim sbin/stop-dfs.
分类：
其他好文 时间：
2018-07-26 16:39:18
阅读次数：
376
HDFS NameNode(NN): 接受客户端的读写服务 NameNode保存metadata信息:--fsimage中包括:1.文件ownership和permissions2.文件包含哪些块儿--Block的位置信息不会保存到fsimage,DataNode启动时主动汇报给NameNode3. ...
分类：
其他好文 时间：
2018-07-22 20:06:38
阅读次数：
159
HDFS是一个分布式文件存储系统 Client 提交读写请求(拆分blocksize) NameNode 全局把控(知道blocksize的地址) dataNode 存储数据(将数据存储进去,且以Pipeline的方式把数据写完) 1.如果你要把数据写到HDFS上去,的流程是 发起请求-client ...
分类：
其他好文 时间：
2018-07-22 00:28:52
阅读次数：
169
一、HDFS相关 1、启动NameNode sbin/hadoop-daemon.sh start namenode 2、启动DataNode sbin/hadoop-<span style="color:#ff0000;">daemon</span>.sh start datanode [plai ...
分类：
其他好文 时间：
2018-07-17 14:12:39
阅读次数：
206
深入理解hadoop之机架感知 机架感知 hadoop的replication为3，机架感知的策略为： 第一个block副本放在和client所在的datanode里（如果client不在集群范围内，则这第一个node是随机选取的）。第二个副本放置在与第一个节点不同的机架中的datanode中（随机 ...
分类：
其他好文 时间：
2018-07-15 11:16:43
阅读次数：
204
安全模式概述 安全模式是 HDFS 所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求，是一种保护机制，用于保证集群中的数据块的安全性。 在NameNode主节点启动时，HDFS首先进入安全模式，集群会开始检查数据块的完整性。DataNode 在启动的时候会向 ...
分类：
其他好文 时间：
2018-07-13 23:21:50
阅读次数：
180
最近做集群机房迁移，在旧机房和新机房之间接了根专线，做集群不停机搬迁，也就是跨机房，同时要新加百多台服务器，遇到几个问题，记录一下。旧集群的机器是centos 6, 新机房加的机器是centos 7。一、丢包问题在跨机房的时候，datanode显示很多Slow BlockReceiver的日志WARN org.apache.hadoop.hdfs.server.datanod
分类：
其他好文 时间：
2018-07-13 16:21:59
阅读次数：
251
1、基本概念-块（block）-namenode-datanode hdfs文件分成块存储，默认64M，块是文件存储的逻辑单元hdfs有两类节点：nomenode、datanode nomenode是管理节点，存放文件元数据（1）文件与数据块的映射表（2）数据块与数据节点的映射表datanode是h ...
分类：
其他好文 时间：
2018-07-13 00:03:08
阅读次数：
147
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行 ...
分类：
其他好文 时间：
2018-07-07 13:50:03
阅读次数：
223
