一、Hadoop概述 1、Hadoop名字是由Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名，Hadoop是Apache开源的分布式存储+分布式计算平台。Hadoop能搭建大型数据仓库、PB级数据的存储、处理、分析、统计等业务，如搜索引擎、日志分析、商业智能、数据挖掘 2、狭义Ha ...
分类：
其他好文 时间：
2019-12-16 19:22:48
阅读次数：
100
1. 基本原理 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 Quorum Journal Manager(QJM)，上 ...
分类：
其他好文 时间：
2019-12-12 12:57:17
阅读次数：
87
Squares and rectangles fascinated the famous Dutch painter Piet Mondriaan. One night, after producing the drawings in his 'toilet series' (where he ha ...
分类：
其他好文 时间：
2019-12-11 21:51:08
阅读次数：
113
哈希表结构 哈希表是由数组+链表组成的，首先有一个数组，数组的每一个位置都用来存储一个链表，链表的基本节点为：【hash值，key值，value值，next】，当存入一个键值对时，首先调用hashcode()方法获得key的hashcode，然后通过算法计算出hash值，当不同的key取到相同的ha ...
分类：
编程语言 时间：
2019-12-11 13:12:42
阅读次数：
70
1.官网 https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 2.namenode支持3个及3个以上的namenode，官方建议3个，journa ...
分类：
其他好文 时间：
2019-12-10 17:12:56
阅读次数：
109
一、HA高可用集群搭建 版本采用的是 1.1、集群ip规划 1.2、免密登录配置 如上做免密登录，这里只做了neo4j node1 免密登录其他节点 这里做不做免密，都可以，我做免密主要是为了方便，不需要一直输入密码，在正式环境中还是不用免密的好 1.3、修改主机名配置 配置 配置 重启网卡 如上内 ...
分类：
其他好文 时间：
2019-12-09 19:05:32
阅读次数：
431
1 主要步骤 配置网络 修改主机名 关闭防火墙 关闭SELinux 安装jdk 增加hadoop用户 配置ssh信任 配置hadoop 集群部署规划 5台服务器， 一个主节点：nn1.hadoop， master （HA） 一个从节点：nn2.hadoop，slave 三个工作节点： s1.hado ...
分类：
系统相关 时间：
2019-12-09 01:34:10
阅读次数：
243
RocketMQ是阿里开源的分布式消息中间件，跟其它中间件相比，RocketMQ的特点是纯JAVA实现；集群和HA实现相对简单；在发生宕机和其它故障时消息丢失率更低。 一.RocketMQ专业术语 Producer（生产者） 消息生产者，位于用户的进程内，Producer通过NameServer获取 ...
分类：
其他好文 时间：
2019-12-07 23:06:19
阅读次数：
134
1、Hdfs的HA高可用：保证Hdfs高可用，其实就是保证namenode的高可用，保证namenode的高可用的机制有两个，editlog共享机制+ZKFC。ZKFC就是ZookeeperFailOverController，即zookeeper故障转移控制器。 2、nameNode的高可用机制： ...
分类：
其他好文 时间：
2019-12-06 09:15:11
阅读次数：
93
Flume is a distributed, reliable（可靠地）, and available service for efficiently（高效地） collecting, aggregating, and moving large amounts of log data. It ha ...
分类：
Web程序 时间：
2019-12-02 23:28:01
阅读次数：
242
