Checkpoint机制 NameNode负责管理元数据,元数据存在内存中,但在磁盘上有元数据镜像文件FSimage和操作日志文件edits 内存中的元数据和磁盘镜像文件有状态差,状态差体现在操作日志文件中 SecondaryNameNode会定期将NameNode上的操作日志文件下载到本地,跟上一 ...
分类:
其他好文 时间:
2020-07-22 01:46:07
阅读次数:
87
1.虚拟机(hadoop11)中的hadoop如是第一次启动,则需要格式化namenode 命令: hadoop namenode -format 注意:如之前有安装过,则需要删除配置文件core-site.xml里的hadoop.tmp.dir的存储目录及日志文件夹 2.在hadoop11上启动n ...
分类:
其他好文 时间:
2020-07-21 21:36:10
阅读次数:
66
#zabbix监控Mysql主从状态 搭建MySQL主从后,很多时候不知道从的状态是否ok,有时候出现异常不能及时知道,这里通过shell脚本结合zabbix实现监控并告警 在MySQL的从上查看从的运行状态是通过Slave_IO_Running线程和Slave_SQL_Running线程是否正常, ...
分类:
数据库 时间:
2020-07-21 14:10:17
阅读次数:
74
一、表被破坏 1. 问题报错:table is marked as crashed and should be repaired 2. 解析: 某些不可测的问题造成表的损坏(频繁查询和更新)。进而造成无法读取数据。 3. 处理: check table tbname -- 用来检查出现问题的表的状态 ...
分类:
数据库 时间:
2020-07-20 13:11:02
阅读次数:
93
You appear to be running a SWT application. On macOS you must specify the -XstartOnFirstThread option when running the jar to run SWT correctly: jar - ...
1. 环境准备 说明:本次集群搭建使用系统版本Centos 7.5 ,软件版本 V3.1.1。 1.1 配置说明 本次集群搭建共三台机器,具体说明下: 主机名 IP 说明 hadoop01 10.0.0.10 DataNode、NodeManager、NameNode hadoop02 10.0.0 ...
分类:
其他好文 时间:
2020-07-19 16:31:06
阅读次数:
63
NameNode和Zookeeper的format
分类:
其他好文 时间:
2020-07-19 11:56:56
阅读次数:
99
首先会写出集群的部署规划,然后根据规划编写对应的配置文件 主要包含四个配置文件,包含的,将配置文件改好,然后分发到各个配置文件然后启动集群的时候将会加载配置文件 一、集群的部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode DataNo ...
分类:
其他好文 时间:
2020-07-19 00:55:10
阅读次数:
85
一、线程的基本状态 1、新建状态(New):新创建了一个线程对象。 2、就绪状态(Runnable):线程对象创建后,其他线程调用了该对象的start()方法。该状态的线程位于可运行线程池中,变得可运行,等待获取CPU的使用权。 3、运行状态(Running):就绪状态的线程获取了CPU,执行程序代 ...
分类:
编程语言 时间:
2020-07-18 22:35:18
阅读次数:
79
一、防火墙相关命令 1、查看防火墙状态 : systemctl status firewalld.service 注:active是绿的running表示防火墙开启 2、关闭防火墙 :systemctl stop firewalld.service 3、开机禁用防火墙自启命令 :systemctl ...
分类:
系统相关 时间:
2020-07-18 00:35:07
阅读次数:
111