HDFS的组成，NameNode，DataNode，SecondaryNameNode作用？ HDFS是什么？ HDFS的优缺点： HDFS的块大小，为什么不能太大，也不能太小？ ...
分类：
其他好文 时间：
2019-12-20 20:29:13
阅读次数：
103
1 概述 解决hadoop启动hdfs时，datanode无法启动的问题。错误为： 2 问题描述 执行start-dfs.sh后，根据打印日志，可以看到分别执行了NameNode、DataNode的操作。 但是执行jps查看启动结果时，返现DataNode并没有启动。 3 查找问题 很是费解，刚刚还 ...
分类：
编程语言 时间：
2019-12-19 21:14:13
阅读次数：
131
错误原因： namenode内存空间不够，JVM剩余内存空间不够新job运行所致 解决办法： 将hive设置成本地模式来执行任务 set hive.exec.mode.local.auto=true; ...
分类：
其他好文 时间：
2019-12-18 00:03:59
阅读次数：
915
hadoop配置 一、首先写两个实用的小脚本 1、执行命令 ：xcall.sh ls 则可以在四台机器上循环执行命令 ls(首先需要支持ssh免密登陆) 2、可以使用命令xscp.sh /soft/download/ 把download下的所有文件传到其他三台服务器对应目录下(首先需要支持ssh免密 ...
分类：
其他好文 时间：
2019-12-16 19:41:15
阅读次数：
107
一、.hdfs写文件的步骤 答案： (1)client向NameNode申请上传…/xxx.txt文件 (2)NN向client响应可以上传文件 (3)Client向NameNode申请DataNode (4)NN向Client返回DN1,DN2,DN3 (5)Client向DN1,DN2,DN3申 ...
分类：
其他好文 时间：
2019-12-14 20:55:37
阅读次数：
106
准备 1、hadoop已部署（若没有可以参考：Centos7安装Hadoop2.7），集群情况如下： 2、官网下载安装包：apache-hive-2.3.6-bin.tar.gz（推荐去清华大学或中科大的开源镜像站）。 安装 hive只需要部署在主节点node1上，解压apache-hive-2.3 ...
分类：
其他好文 时间：
2019-12-12 16:34:16
阅读次数：
160
1. 基本原理 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 Quorum Journal Manager(QJM)，上 ...
分类：
其他好文 时间：
2019-12-12 12:57:17
阅读次数：
87
1.官网 https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 2.namenode支持3个及3个以上的namenode，官方建议3个，journa ...
分类：
其他好文 时间：
2019-12-10 17:12:56
阅读次数：
109
[toc] 集群规划 hdfs结构分析 1.NameNode 名称节点 master 管理其他节点。需要配置ssh免密管理 2.DateNode 数据节点 3.SecondaryNameNode 辅助名称节点 |主机名|ip|作用| | | | | |s101|192.168.255.101|Nam ...
分类：
其他好文 时间：
2019-12-09 21:13:14
阅读次数：
105
在2.0之前HDFS中只有一个NameNode，但对于在线的应用只有一个NameNode是不安全的，故在2.0中对NameNode进行抽象，抽象成NamService其下包含有多个NameNode，但只有一个运行在活跃状态，因此需要zookeeper进行选举和自动转换。一旦active当掉之后zoo ...
分类：
其他好文 时间：
2019-12-07 20:56:20
阅读次数：
159
