hadoop完全分布式集群有一般集群和HA高可用集群 一般集群只有一个namenode节点，当namenode节点出现故障时，整个集群将无法使用。因此，相对的出现了HA集群 HA集群具有主备切换机制，有两个namenode节点，active/standby namenode，两个节点元数据同步， 当 ...
分类：
其他好文 时间：
2020-05-23 20:27:21
阅读次数：
63
1、在配置jar包的时候发现如果hadoop.jar包的版本高于所运行的hadoop版本会报错，甚至无法创建工程文件，不兼容高版本的jar包 2、在运行mapreduce的时候需要将所需要map的文件上传到hadoop服务器上的/user/hadoop/，否则在默认路径找不到这个文件 3、当map结 ...
分类：
其他好文 时间：
2020-05-23 20:08:24
阅读次数：
49
1、Hbase集群的高可用性与伸缩性 HBase可以实现对Regionserver的监控，当个别Regionserver不可访问时，将其负责的分区分给其他Regionsever，其转移过程较快，因为只需要将分区的相关信息转移。Hlog和表中数据实际存储在HDFS上，本身具有多副本机制容错。 Mast ...
分类：
其他好文 时间：
2020-05-23 20:00:09
阅读次数：
88
org.apache.hadoop.fs.FileSystem是Hadoop中一个相当通用的文件系统的抽象基类，它是一个面向最终用户的接口类。应该将所有可能使用Hadoop分布式文件系统的用户代码编写为使用一个FileSystem对象。Hadoop DFS是一种多机系统，显示为单个磁盘，由于其容错能 ...
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/ ...
分类：
其他好文 时间：
2020-05-23 18:03:51
阅读次数：
49
hadoop namenode的工作机制 https://blog.csdn.net/u010846741/article/details/52369527 《Hadoop管理一》checkpoint原理和过程 Standby Namenode Checkpoint过程剖析 ...
分类：
其他好文 时间：
2020-05-23 12:59:51
阅读次数：
51
Hadoop Journal Node 作用 https://blog.csdn.net/weixin_34367845/article/details/91986737?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFrom ...
分类：
其他好文 时间：
2020-05-23 11:31:15
阅读次数：
71
apache版本 伪分布式 完全分布式 CDH版本 编译 编译环境 常见编译错误 CDH版本Zookeeper环境搭建 CDH版本Hadoop环境搭建 ...
分类：
Web程序 时间：
2020-05-22 22:59:12
阅读次数：
90
一、前言RowKey作为HBase的核心知识点，RowKey设计会影响到数据在HBase中的分布，还会影响我们查询效率，所以RowKey的设计质量决定了HBase的质量。是咱们大数据从业者必知必会的，自然也是面试必问的考察点。 那么rowkey到底是什么呢？原理是什么呢？怎么设计RowKey呢？使用 ...
分类：
其他好文 时间：
2020-05-22 21:32:21
阅读次数：
68
