面试题 一、Hadoop 1.Hadoop面试题总结（一） 2.Hadoop面试题总结（二）——HDFS 3.Hadoop面试题总结（三）——MapReduce 4.Hadoop面试题总结（四）——YARN 5.Hadoop面试题总结（五）——优化问题 二、Zookeeper 1.Zookeeper ...
分类：
其他好文 时间：
2021-03-02 11:41:45
阅读次数：
0
1. 介绍 Zookeeper 的文件系统 Zookeeper 提供一个多层级的节点命名空间（节点称为 znode）。与文件系统不同的是，这些节点都可以设置关联的数据，而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper为了保证高吞吐和低延迟，在内存中维护了这个树状的目录结构，这种 ...
分类：
其他好文 时间：
2021-03-01 13:21:01
阅读次数：
0
四、分布式锁 传统的锁可解决在一台服务器上多个线程之间的并发冲突，但有些场景下多台服务器需要进行同一操作，这时为了协调多台服务器就需要分布式锁（由第三方提供锁）。分布式锁常用的是两种实现方式：使用Redis或Zookeeper。 4.1Redis自带的原语 Redis是一个key value数据库， ...
分类：
其他好文 时间：
2021-03-01 13:19:18
阅读次数：
0
集群角色： leader：负责事务读写操作， follower：读操作，把写操作交给leader，投票 observer：除了不投票几乎和follower一致 ZXID: 分布式事务id，全局唯一，一般作为事务id使用 会话： 每次服务端连接建立，存在一个会话，和服务端的通讯。一般会创建一个零时节点 ...
分类：
其他好文 时间：
2021-03-01 12:59:32
阅读次数：
0
继承的本质是对某一批类的抽象,从面实现对现实世界更好的建模. extends的意思是"扩展".子类是父类的扩展. JAVA中类只有单继承,没有多继承! 继承是类和类之间的一种关系.除此之外,类和类之间的关系还有依赖,组合,聚合等. 继承关系的俩个类,一个为子类(派生类,),一个为父类(基类).子类继 ...
分类：
编程语言 时间：
2021-02-27 13:29:46
阅读次数：
0
本文作者：HelloGitHub-老荀 Hi，这里是 HelloGitHub 推出的 HelloZooKeeper 系列，免费开源、有趣、入门级的 ZooKeeper 教程，面向有编程基础的新手。 本系列教程是从零开始讲解 ZooKeeper，内容从最基础的安装使用到背后原理和源码的讲解，整个系列希 ...
分类：
其他好文 时间：
2021-02-25 12:19:55
阅读次数：
0
zookeeper zookeeper安装配置 从官网下载zookeeper的安装包:官网推荐的zookeeper镜像下载网站 将zookeeper的压缩包解压到指定安装目录 在zookeeper安装目录新建 data 和 log 文件夹,将conf目录下的 zoo_sample.cfg 文件，复制 ...
分类：
其他好文 时间：
2021-02-23 14:36:36
阅读次数：
0
pyspark有个bug, 虽然下面代码写了 write.mode("overwrite")但是不生效 spark.conf.set("hive.exec.dynamic.partition.mode", "constrict") db_df.repartition(1).write.mode("o ...
分类：
其他好文 时间：
2021-02-23 14:14:20
阅读次数：
0
安装部署 先下载zookeeper、kafka zookeeper下载地址：Download kafka下载地址：Download 集群规划 hadoop001 hadoop002 zk zk kafka kafka 集群部署 1) 解压安装包 [root@hadoop001 software]# ...
分类：
其他好文 时间：
2021-02-22 12:46:23
阅读次数：
0
zookeeper实现分布式锁 Zookeeper是一种提供配置管理、分布式协同以及命名的中心化服务。 zk的模型是这样的：zk包含一系列的节点，叫做znode，就好像文件系统一样每个znode表示一个目录，然后znode有一些特性： 有序节点：假如当前有一个父节点为 /lock ，我们可以在这个父 ...
分类：
其他好文 时间：
2021-02-22 12:35:38
阅读次数：
0
