1、hadoop 工作原理: a.首先 概括里面的角色(HDFS 、Mapreduce) b.讲解各个角色的整体架构 HDFS: 概念: 分布式文件系统,用于海量数据存储。 架构: master/slave 架构 :1个Namenode和多个Ddatanode。 工作原理: Namenode:(项目 ...
分类:
其他好文 时间:
2019-04-05 21:32:15
阅读次数:
205
[toc] Kubernetes之核?技术概念和API对象 API对象是Kubernetes集群中的管理操作单元。 Kubernetes集群系统每?持?项新功能, 引??项新技术, ?定会新引?对应的API对象, ?持对该功能的管理操作。 例如副本集Replica Set对应的API对象是RS。 每 ...
用来测试,我在VMware下用Centos7搭起一个三节点的Hadoop完全分布式集群。其中NameNode和DataNode在同一台机器上,如果有条件建议大家把NameNode单独放在一台机器上,因为NameNode是集群的核心承载压力是很大的。hadoop版本:Hadoop-2.7.4; had ...
分类:
其他好文 时间:
2019-03-31 13:35:26
阅读次数:
201
Hadoop 服务划分 使用三台节点,集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager ...
分类:
其他好文 时间:
2019-03-30 23:59:19
阅读次数:
346
三、集群客户端命令(redis cli c p port) 集群 cluster info :打印集群的信息 cluster nodes :列出集群当前已知的所有节点( node),以及这些节点的相关信息。 节点 cluster meet :将 ip 和 port 所指定的节点添加到集群当中,让它成 ...
分类:
其他好文 时间:
2019-03-30 13:32:59
阅读次数:
120
一、MongoDB简介 来源:在2007年,由纽约一个叫10gen的创业团队开发,公司现在叫做MongoDB Inc,最初被开发为PAAS(平台即服务)。 数据库类型:基于分布式文件存储的数据库。由C++语言编写。 设计目标:极简、灵活、作为web应用栈的一部分(为WEB应用提供可扩展的高性能数据存 ...
分类:
数据库 时间:
2019-03-28 09:33:15
阅读次数:
179
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的。
分类:
其他好文 时间:
2019-03-21 15:48:41
阅读次数:
194
1.kubectl提交创建pod命令,api响应命令,通过一系列认证授权,把pod数据存储到etcd,创建deployment资源并初始化.2.controller通过list-watch机制,监测发现新的deployment,将该资源加入到内部工作队列,发现该资源没有关联的pod和replicaset,启用deploymentcontroller创建replicaset资源,再启用replica
分类:
其他好文 时间:
2019-03-12 12:16:19
阅读次数:
274
一、自动伸缩 1、启动 2、查看创建 3、修改副本数为1 二、hpa伸缩 1、编辑horizontalpodautoscaler 文件 2、修改副本为1 明明修改为1,怎么还有2个?是因为hpa如下配置 3、修改副本数为5 看到自动伸缩的过程了吧! 三、HAP-deployment-rs-rc-po ...
分类:
Web程序 时间:
2019-02-21 12:35:49
阅读次数:
239
面向文档 document数据格式 Java数据 数据库数据 Json数据 集群管理 green:每个索引的primary shard和replica shard都是active状态的yellow:每个索引的primary shard都是active状态的,但是部分replica shard不是ac ...
分类:
其他好文 时间:
2019-02-21 09:36:48
阅读次数:
143