在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。
分类：
其他好文 时间：
2020-10-29 09:35:04
阅读次数：
15
配置集群 配置yarn-env.sh Linux系统中获取JDK的安装路径 [xiaoran@hadoop101 hadoop-2.7.2]$ echo $JAVA_HOME /opt/module/jdk1.8.0_144 修改JAVA_HOME路径 [xiaoran@hadoop101 hado ...
分类：
其他好文 时间：
2020-10-27 11:36:17
阅读次数：
28
在我们的生活或者工作中都需要有属于自己的一些账户、账号。这些账户、账号存在的意义就是为了能够方便的管理，同时也是为了更好的保证每个用户的信息安全不被泄露。就像我们在银行办理一个银行卡号，个人的身份信息和电话号码全绑定在一起，去银行再次办理业务时只要输入卡号我们的信息就全部读取出来，当然还要输入我们的用户密码。首先我们要先创建一个用户ha:useraddha创建完我们的用户后，我们先看看用户的属主和
分类：
系统相关 时间：
2020-10-26 11:32:01
阅读次数：
31
DataNode上数据块以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是数据块元数据包括长度、校验、时间戳；
DataNode启动后向NameNode服务注册，并周期性的向NameNode上报所有的数据块元数据信息；
分类：
其他好文 时间：
2020-10-21 20:51:41
阅读次数：
21
NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者添加元数据时，修改内存中的元数据会把操作记录追加到edits日志文件中，这里不包括查询操作。如果NameNode节点发生故障，可以通过FsImage和Edits的合并，重新把元数据加载到内存中，此时SecondaryNameNode专门用于fsImage和edits的合并。
分类：
其他好文 时间：
2020-10-12 20:32:44
阅读次数：
26
上篇讲解了Prefab在unity2017、untiy2018 的区别，这篇文章将讨论下在unity2018 下如何使用Prefab的预览功能，如图 将双击点击prefab时，则会进入prefab编辑界面，此界面方便对单个prefab进行查看和编辑，如图： 怎么样？这个是不是还是很方便？ so ha ...
分类：
编程语言 时间：
2020-09-18 17:27:43
阅读次数：
87
在flink集群中提交了一个job报错如下大概看出是没有DataNode，这让人很奇怪 通过jps命令在主节点看到了namenode，但是在DataNode端执行jps没有DataNode [root@devopes ~]# jps 5347 TaskManagerRunner 18788 Name ...
分类：
其他好文 时间：
2020-09-18 17:26:11
阅读次数：
71
Hadoop HA 集群搭建 Hadoop HA 集群搭建Hadoop 完全分布式环境搭建集群规划集群部署前提Hadoop伪分布式环境搭建配置IP映射安装 Java 与 Hadoop配置 Hadoop配置 MapReduce 与 YARN集群配置配置基本参数配置 SSH 免密登录格式化 HDFS启动 ...
分类：
其他好文 时间：
2020-09-18 03:33:30
阅读次数：
38
MariaDB集群Galera Cluster的研究与测试 Galera Cluster是MariaDB的一个双活多主集群，其可以使得MariDB的所有节点保持同步，Galera为MariaDB提供了同步复制（相对于原生的异步复制），因此其可以保证HA，且其当前仅支持XtraDB/InnoDB存储引 ...
分类：
数据库 时间：
2020-09-18 01:25:04
阅读次数：
42
前提 Canal上一个正式版是于2019-9-2发布的v1.1.4，笔者几个月前把这个版本的Canal推上了生产环境，部署了HA集群。过程中虽然遇到不少的坑，但是在不出问题的前提下，Canal的作用还是非常明显的。上周的一次改造上线之后，去掉了原来对业务系统订单数据通过RabbitMQ实时推送的依赖 ...
分类：
其他好文 时间：
2020-09-17 14:03:53
阅读次数：
64
