一、高可用简介 二、集群规划 三、前置条件 四、集群配置 五、启动集群 六、查看集群 七、集群的二次启动 一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性 ...
分类:
其他好文 时间:
2019-06-25 09:44:28
阅读次数:
100
hadoop-env.sh:脚本中所用到的环境变量,以运行Hadoop mapred-env.sh:脚本中所用到的环境变量,以运行mapreduce yarn-env.sh:脚本中所用到的环境变量,以运行YARN core-site.xml:hadoop core 的配置选项,如HDFS,MapRe ...
分类:
其他好文 时间:
2019-06-17 10:52:44
阅读次数:
97
本文档以Ubuntu作为主服务器,Win7作为从服务器进行测试。要保证主从服务器之间能够互相通信(即能相互ping通)。主服务器ip地址:192.168.13.81从服务器ip地址:192.168.13.82?测试通信状况:主可以ping通从:从可以ping通主:1.?备份主服务器的数据在终端执行如 ...
分类:
数据库 时间:
2019-06-14 01:05:24
阅读次数:
163
HDFS安装-完全分布式 1、 先决条件 a) 三台机器(以上) b) 每台机器时间一致,相差30秒以内。 c) 必须有主机名和ip映射。 d) 必须有JDK1.7,并且JDK的环境变量必须配置好。 i. rpm -ivh jdk-7u79-linux-x64.rpm 安装jdk ii. 配置环境变 ...
分类:
其他好文 时间:
2019-06-11 20:56:09
阅读次数:
174
:一、安装jdk环境(前提) 二、安装hadoop(hadoop-2.7.7.tar.gz) 1. 角色分配(3节点搭建) node-1 NameNode DataNode ResourceManager node-2 DataNode NodeManager SecondaryNameNode n ...
分类:
其他好文 时间:
2019-06-05 23:35:35
阅读次数:
111
为了保证服务能够稳定的进行,避免只有一台服务器的时候发生宕机而无法提供DNS服务;所有会有DNS主从服务器架构主从DNS服务器:(主辅)需要注意的细节:1.主服务器和辅助服务器都是域级别的概念;2.必须保证主辅服务器之间的网络通信的顺畅以及时间同步;3.为了确保所有的名称服务器都能被识别和使用,需要在区域数据库中为所有的名称服务器添加NS资源记录;4.区域数据库中每条NS资源记录都必须有A记录与之
分类:
其他好文 时间:
2019-06-04 14:49:44
阅读次数:
116
前面文章我们已经知道 Flink 是什么东西了,安装好 Flink 后,我们再来看下安装路径下的配置文件吧。 安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 flink-conf.yaml 基础配置 高可用性配置 容错和检 ...
分类:
其他好文 时间:
2019-05-28 09:39:10
阅读次数:
448
好了,现在我们经过三节的介绍我们已经大体上明确了单线程模型(SingleThreaded)下 OSG 渲染遍历的工作流程。事实上无论是场景的筛选render还是绘制cull工作,最后都要归结到场景视图(SceneView)的相应实现函数中去完成,渲染器类 Renderer 只是一个更为方便和直观的公 ...
分类:
其他好文 时间:
2019-03-14 10:31:52
阅读次数:
210
Redis-Sentinel Redis-Sentinel是redis官方推荐的高可用性解决方案,当用redis作master-slave的高可用时,如果master本身宕机,redis本身或者客户端都没有实现主从切换的功能。 而redis-sentinel就是一个独立运行的进程,用于监控多个mas ...
分类:
其他好文 时间:
2019-02-27 16:00:44
阅读次数:
159