距离上次博客时间已经9天，简单记录下这几天的学习过程 2020-02-15 10:38:47 一、Linux学习 关于Linux命令，我在之前就已经学过一部分了，所以这段时间的linux学习更多的是去学习Linux系统的安装以及相关配置多一些，命令会一些比较常用的就够了，下面记录下安装配置Linux ...
分类：
系统相关 时间：
2020-02-15 13:41:12
阅读次数：
94
1.hadoop集群的启动 cd $HADOOP_HOME //进入hadoop安装目录 sbin/start-dfs.sh //启动hdfs sbin/start-yarn.sh //启动yarn （或start-all.sh） 集群关闭： cd $HADOOP_HOME //进入hadoop安装 ...
分类：
系统相关 时间：
2020-02-07 00:58:00
阅读次数：
114
一、业务架构 二、大数据全链路架构 三、主流框架 3.1 第一代大数据框架: 各自为战 3.2 第二代大数据计算框架 3.3 第三代大数据计算框架 Flink 集群启动 格式化集群 要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。 注意：首次启动HDFS时，必须对其进行格式化 ...
分类：
其他好文 时间：
2020-01-29 23:28:23
阅读次数：
139
hadoop 集群中有两种节点，一种是namenode，还有一种是datanode。 其中datanode主要负责数据的存储，namenode主要负责三个功能，分别是(1)管理元数据 (2)维护目录树 (3)响应客户请求 首先介绍下，元数据格式 hdfs在外界看来就是普通的文件系统，可以通过路径进行 ...
分类：
其他好文 时间：
2020-01-22 13:07:22
阅读次数：
117
+ Hadoop常见的端口 + Hadoop生态圈 + Hadoop配置文件以及简单的Hadoop集群搭建 + Hadoop参数调优 + 项目经验之基准测试 + Hadoop宕机 + Hadoop 高可用配置 Hadoop 常见的端口 ? dfs.namenode.http address:5007 ...
分类：
其他好文 时间：
2020-01-08 19:08:08
阅读次数：
91
一、主机规划 3台主机：1个master、2个slaver/worker ip地址使用docker默认的分配地址： master： 主机名： hadoop2、ip地址： 172.17.0.2 slaver1： 主机名： hadoop3、ip地址： 172.17.0.3 主机名： hadoop4、ip ...
分类：
其他好文 时间：
2020-01-08 14:18:46
阅读次数：
86
磁盘阵列 与 分布式存储 简单理解 磁盘阵列将多个磁盘组合成一个大磁盘, 并通过编码, 冗余等方式使它带有容错功能(防止数据丢失), 从而提高了存储可靠性。 而分布式存储则是将数据分布在不同物理位置, 并通过网络把它连接起来。 磁盘阵列可以应用于分布式存储系统中, 也可以集中式存储系统中。 打个比方 ...
分类：
其他好文 时间：
2020-01-04 20:42:46
阅读次数：
92
简介 YARN 提供请求和使用hadoop集群资源的API 向上隐藏细节 提供更高层的API 4.1 YARN应用运行机制 资源请求 应用生命周期 构建yarn应用 4.2 YARN与MapReduce 1相比 (MapReduce特指hadoop1 的版本, 2/3依次对应) 4.3 YARN中的 ...
分类：
其他好文 时间：
2020-01-02 20:42:12
阅读次数：
81
一 整体介绍 1.1 硬件环境 本文使用三台服务器搭建hadoop集群，使用Centos7.5系统，服务器均有独立ip 1.2 部署的软件 部署服务：namenode（HA）,resourcemanager（HA）,zookeeper，hbase（HA）,spark,kafka,geomesa 版本 ...
分类：
其他好文 时间：
2019-12-31 14:12:21
阅读次数：
94
启动和关闭Hadoop集群命令步骤总结： 1. 在master上启动hadoop-daemon.sh start namenode.2. 在slave上启动hadoop-daemon.sh start datanode.3. 用jps指令观察执行结果.4. 用hdfs dfsadmin -repor ...
分类：
其他好文 时间：
2019-12-28 22:47:34
阅读次数：
878
