ETCd nodes：-1 etcd用于存储Kubernetes cluster中所有的pods / nodes状态的key/value信息，同时提供高可用cluster的特性，生产环境一般提供3到5个etcd nodes以保证一致性协调服务； etcd集群内部通过Raft一致性算法，类似于ZooK ...
分类：
其他好文 时间：
2020-03-31 10:48:27
阅读次数：
84
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
最近面试被问到的几个问题，于是整理收集如下： 自动化相关 k8s中master和nodes分别有哪些组件，及作用。 k8s有哪些组件做网络通信、网络如何管理、使用哪种网络连接模式 pod中容器间如何通信 有状态服务和无状态服务的区别 应用运维相关 nginx如何调用php，通过什么协议 mysql主 ...
分类：
其他好文 时间：
2020-03-27 01:12:54
阅读次数：
105
目录 01架构到底是指什么？ 02架构设计的历史背景 03架构设计的目的 04复杂度来源：高性能 单台计算机内部为了高性能带来的复杂度 多台计算机集群为了高性能带来的复杂度 05复杂度来源：高可用 高可用方案的本质 冗余”带来的复杂性 一、计算高可用 二、存储高可用 高可用状态决策 1）独裁式 2） ...
分类：
其他好文 时间：
2020-03-27 01:12:08
阅读次数：
240
前言 以前在学校做小项目的时候，用到Redis，基本也只是用来当作缓存。现在博主在某金融平台实习，发现Redis在生产中并不只是当作缓存这么简单。在我接触到的项目中，Redis起到了一个分布式锁的作用，具体情况是这样的： 该项目在金融平台中负责某块业务，是一个分布式系统，线上大概跑着10个左右的实例 ...
分类：
其他好文 时间：
2020-03-26 21:17:33
阅读次数：
69
如下： 集群管理：监控节点存活状态，运行请求等。 主节点选举：主节点挂掉了之后可以从备用的节点开始新一轮选主，主节点选举说的就是这个选举的过程，使用 zookeeper 可以协助完成这个过程。 分布式锁：zookeeper提供两种锁：独占锁、共享锁。独占锁即一次只能占有一个线程使用资源，共享锁是读写 ...
分类：
其他好文 时间：
2020-03-26 19:10:31
阅读次数：
60
ZooKeeper 是一个开源的分布式协调服务,成为Hadoop，HBase和其他分布式框架使用的有组织服务的标准。 例如，Apache HBase使用ZooKeeper跟踪分布式数据的状态。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并 ...
分类：
其他好文 时间：
2020-03-23 15:28:00
阅读次数：
67
C:\tools\kafka_2.12-2.4.1>zookeeper-server-start.bat config\zookeeper.properties C:\tools\kafka_2.12-2.4.1>kafka-server-start.bat config\server.proper ...
分类：
其他好文 时间：
2020-03-21 09:22:00
阅读次数：
54
总结一下大数据开发基本常识： JDK（做java开发必备的开发工具包） Hadoop（Apache开发的分布式系统的基础框架）三大组件：MapReduce，Yarn，Hdfs Sqoop（数据迁移，清洗） Kettle（数据清洗，格式转换） Hive（基于Hadoop的数据仓库，并不是数据库，需要安 ...
分类：
系统相关 时间：
2020-03-15 22:17:01
阅读次数：
90
HA+Zookeeper搭建: hadoop完全分布式搭建: https://www.cnblogs.com/Hephaestus/p/12213719.html hadoop高可用搭建: https://www.cnblogs.com/Hephaestus/p/12420370.html Zook ...
分类：
其他好文 时间：
2020-03-12 09:59:28
阅读次数：
46
