hadoop1.X架构 架构模型 分布式文件系统核心模块: namenode:集群中的主节点,管理元数据(文件的大小,文件的位置,文件的权限)。 secondaryNameNode:辅助namenode管理元数据信息。 dadanode:集群当中的从节点,主要存储集群中的各种数据。 分布式数据计算核 ...
分类：
其他好文 时间：
2020-12-28 11:29:22
阅读次数：
0
1.下载zookeeper-3.4.10.tar.gz 2.压缩zookeeper-3.4.10.tar.gz 3.删除文件 rm -r data logs 4.创建目录 mkdir zkData /opt/module/zookeeper-3.4.10/zkData 5.修改配置文件 zookee ...
分类：
其他好文 时间：
2020-11-26 14:18:21
阅读次数：
2
一、Hadoop集群安装 1. 环境准备 （1） 准备三台机器：hadoop0(192.168.11.10)、hadoop1(192.168.11.11)、hadoop2(192.168.11.12) （2）每台机器安装好JAVA环境以及SSH打通（SSH免密登录；关闭防火墙） 2. 下载Hadoo ...
分类：
其他好文 时间：
2020-08-11 10:44:56
阅读次数：
79
CDH 装完 ES 集群，查看 http://hadoop1:9200 报错 { "error" : { "root_cause" : [ { "type" : "master_not_discovered_exception", "reason" : null } ], "type" : "mas ...
分类：
其他好文 时间：
2020-07-27 15:38:00
阅读次数：
65
Hadoop 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yam只负责资源的调度,MapReduce只负责运算。 Hadoop运行模式 本地模式、伪模式以及完全分布式模式。 3.格式化 只能格式化 ...
分类：
其他好文 时间：
2020-07-26 23:02:06
阅读次数：
67
@ 单点启动 如果集群是第一次启动，需要格式化NameNode hadoop namenode -format 在某一台机器上启动NameNode节点 hadoop-daemon.sh start namenode 在其他机器上启动DataNode节点 hadoop-daemon.sh start ...
分类：
其他好文 时间：
2020-07-09 00:37:06
阅读次数：
119
一、小文件概述 小文件通常指文件大小要比HDFS块大小还要小很多的文件（在hadoop1.x版本的时候可以通过dfs.blocksize来设置，默认块大小为64M；在hadoop2.x版本的时候，则需要通过dfs.block.size设置，且默认大小为128M） 如果存在大量小文件，则会对整个存储系 ...
分类：
其他好文 时间：
2020-06-30 22:57:46
阅读次数：
191
Hadoop 简介： 两大核心：HDFS+MapReduce Hadoop1.0，Hadoop2.0 Linux：基础 shell，sudo Hadoop集群的部署与使用 先访问nameNode 存储DataNode JobTracker TaskTracker 分布式文件系统 伪分布式：就是吧名称 ...
分类：
其他好文 时间：
2020-05-29 17:44:12
阅读次数：
71
1 导入pom依赖 2 <dependencies> 3 <dependency> 4 <groupId>org.apache.flume</groupId> 5 <artifactId>flume-ng-core</artifactId> 6 <version>1.7.0</version> 7 ...
分类：
其他好文 时间：
2020-05-20 14:03:09
阅读次数：
60
修改计算机名 hostnamectl set-hostname hadoop1 文件操作 touch test.txt 创建文件 echo 内容 > test.txt 覆盖内容到文件 echo 内容 >> test.txt 追加内容到文件 tail -f 实时查看文件末尾 tail 查看文件末尾 n ...
分类：
系统相关 时间：
2020-05-11 19:10:16
阅读次数：
96
