配置MySQL双主配置，需要先配置MySQL的主从复制，传送门： 0、集群规划 1、修改 hadoop107中MySQL的/usr/my.cnf配置文件 2、重启hadoop107mysql服务 3、登录MySQL，查看master状态 4、在hadoop106中修改配置文件 5、重启hadoop1 ...
分类：
数据库 时间：
2020-01-29 01:07:44
阅读次数：
103
本文对flume进行安装部署 flume是什么？传送门： 0、要安装部署在日志所在的服务器，或者把日志发送到日志所在的节点上 安装前准备 1） Flume官网地址 2）文档查看地址 3）下载地址 1、将apache flume 1.7.0 bin.tar.gz上传到linux的/opt/softwa ...
分类：
Web程序 时间：
2020-01-23 12:38:37
阅读次数：
110
简介 YARN 提供请求和使用hadoop集群资源的API 向上隐藏细节 提供更高层的API 4.1 YARN应用运行机制 资源请求 应用生命周期 构建yarn应用 4.2 YARN与MapReduce 1相比 (MapReduce特指hadoop1 的版本, 2/3依次对应) 4.3 YARN中的 ...
分类：
其他好文 时间：
2020-01-02 20:42:12
阅读次数：
81
操作命令 scp -r module root@hadoop2:/opt/module -r递归 module本地目录 root操作的用户 hadoop2主机名 /opt/module拷贝到虚拟机的目录 [root@hadoop1 opt]# scp -r module root@hadoop2:/ ...
分类：
其他好文 时间：
2019-12-11 17:08:24
阅读次数：
67
解释以下 hadoop是用户名 Hadoop1是主机名 第一步 vim /etc/udev/rules.d/70-persistent-net.rules进入文件 删除eth0一整行把eth1改成eth0 复制地址00:0c:29:58:b8:56保存退出 第二步: vim /etc/sysconf ...
分类：
其他好文 时间：
2019-12-10 16:52:18
阅读次数：
111
1．基本语法 read(选项)(参数) 选项： -p：指定读取值时的提示符； -t：指定读取值时等待的时间（秒）。 参数 变量：指定读取值的变量名 2．案例实操 （1）提示7秒内，读取控制台输入的名称 [atguigu@hadoop101 datas]$ touch read.sh [atguigu ...
分类：
系统相关 时间：
2019-12-07 14:40:04
阅读次数：
77
一、hdfsnamenodeHA1、概述?在hadoop1.0的时候，hdfs集群中namenode存在单点故障的问题，当namenode不可用的时候，就会导致整个hdfs集群服务不可用。另外如果需要临时对namenode进行设计或者其他操作时，停掉namenode之后，hdfs集群也无法使用了。?通过HA的方式，可以一定程度上解决单点故障问题。2、namenodeHA工作要点1）元数据管理方式需
分类：
其他好文 时间：
2019-11-03 01:34:32
阅读次数：
89
1. HDFS架构是怎样的？ hadoop1.x中采用master/slave架构，hdfs集群有一个namenode和多个datanode组成。 namenode namenode负责原数据的管理，包括文件目录和文件的元数据管理。 namenode文件到block块位置的映射，namenode并不 ...
分类：
其他好文 时间：
2019-10-27 18:39:03
阅读次数：
100
EOF自定义终止符用法 我们在脚本中经常会发现使用EOF的情况。EOF可以结合cat命令对内容进行追加。比如：执行脚本的时候，需要往一个文件里自动输入多行内容。如果是少数的几行内容，可以用echo命令追加，但如果是很多行，那么单纯用echo追加的方式就不太适合了。 1.语法格式： 文件内容 ...
分类：
其他好文 时间：
2019-10-25 19:56:52
阅读次数：
67
1. run JMX exporter as a java agent with all the four daemons. For this I have added EXTRA_JAVA_OPTS in hadoop-env.sh and yarn-env.sh : [root@cloud01 ...
分类：
其他好文 时间：
2019-10-10 14:10:59
阅读次数：
808
