1. 读操作 1. 客户端向namenode发起上传请求 2. namenode检查datanode是否已经存有该文件，并且检查客户端的权限 3. 确认可以上传后，根据文件块数返回datanode栈 注：namenode触发副本放置策略，如果客户端在集群内的某一台机器，那么副本第一块放置在该服务器上 ...
分类：
其他好文 时间：
2020-03-01 12:13:26
阅读次数：
64
在搭好HA集群之后，想测试一下集群的高可用性，于是先把active的namenode给停掉： hadoop-daemon.sh stop namenode 或者直接kill掉该节点namenode的对应进程也可。 但是通过hdfs haadmin -getServiceState master1 查 ...
分类：
其他好文 时间：
2020-02-28 18:52:26
阅读次数：
101
hadoopd的sbin目录的脚本 一、服务相关的一些脚本 开启一个软件： 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode （ ...
分类：
其他好文 时间：
2020-02-25 18:14:39
阅读次数：
74
面试时间：2019年6月 深信服的效率是很快的，前一天晚上5点钟通知笔试，在7点就要进行笔试，9点笔试完11点钟通知第二天中午11点面试 所以我做完也没有来得及有所准备，就得去面试了 面经如下： 1.namenode和secondarynamenode的工作机制 2.谈谈对flume的理解， flu ...
分类：
其他好文 时间：
2020-02-24 20:59:36
阅读次数：
89
Hadoop HA架构搭建 共七台服务器，节点角色分配如下： 192.168.133.21 （BFLN-01）：namenode zookeeper journalnadeDFSZKFailoverController192.168.133.23 （BFLN-02）：namenoderesource... ...
分类：
其他好文 时间：
2020-02-23 18:36:02
阅读次数：
91
伪分布式只需要一台服务器就可以完成，搭建集群之前需要selinux和防火墙 1.安装java并配置环境变量 [root@node1 ~]# tar -xf jdk-8u144-linux-x64.gz -C /usr/ [root@node1 ~]# ln -sv /usr/jdk1.8.0_144 ...
分类：
其他好文 时间：
2020-02-22 15:33:28
阅读次数：
79
学习一个新框架方法： 推荐：官网+源码 跪在坚持 hadoop.apache.org spark.apache.org flink.apache.org storm.apache.org Hadoop:由HDFS/YARN/Map Reduce构成 HDFS 一个NameNode 和多个DATa N ...
分类：
其他好文 时间：
2020-02-21 18:19:23
阅读次数：
55
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 首先，我们要提出HDFS存储特点： 1.高容错 2.一个文件被切成块(新版本默认128MB一个块)在不同的DataNode存储 3.客户端通过流水线，在NameNode的调节下，将数据以Packet的形 ...
分类：
其他好文 时间：
2020-02-20 23:37:02
阅读次数：
101
目录 前言 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml 一、HDFS HDFS的设计理念 HDFS的缺点 1、NameNode 1.1、namenode的作用 1.2、元数据目录说明 1.3、NameNode启动 2、Secon ...
分类：
其他好文 时间：
2020-02-18 09:58:41
阅读次数：
100
错误： hadoop Requested data length 86483783 is longer than maximum configured RPC length 解决： 修改NameNode的hdfs-site.xml配置文件，添加以下配置： <property> <name>ipc.m ...
分类：
其他好文 时间：
2020-02-14 18:14:56
阅读次数：
74
