搭建集群 集群搭建网上查了有3中方案：Replica Set / Sharding / Master-Slaver 第三种基本上目前很少人使用 就不介绍了。主要介绍Replica Set 和Sharding Replica Set 该部署中文翻译为副本集，就是一个主节点，N个副节点，一个仲裁节点，当 ...
分类：
数据库 时间：
2018-07-05 11:03:55
阅读次数：
229
前言 从今天起，我将一步一步的分享大数据相关的知识，其实很多程序员感觉大数据很难学，其实并不是你想象的这样，只要自己想学，还有什么难得呢？ 学习Hadoop有一个8020原则，80%都是在不断的配置配置搭建集群，只有20%写程序！ 一、引言（大数据时代） 1.1、从数据中得到信息 我们看一张图片： ...
分类：
其他好文 时间：
2018-06-30 18:47:19
阅读次数：
174
我们搭建集群环境的时候，时间必须是要统一的，才能保证集群数据的一致性。 一般操作是直接使用NTP，跟默认的时间服务器同步，但是最好还是让所有节点跟集群中的某台作为时间服务器的节点同步。 步骤：(节点有NameNode1,NameNode2,DataNode1,DataNode2,DataNode3) ...
分类：
系统相关 时间：
2018-06-30 10:51:44
阅读次数：
201
一、集群规划 搭建一个集群我们需要考虑如下几个问题： 1. 我们需要多大规模的集群？ 2. 集群中的节点角色如何分配？ 3. 如何避免脑裂问题？ 4. 索引应该设置多少个分片？ 5. 分片应该设置几个副本？ 下面我们就来分析和回答这几个问题 1、我们需要多大规模的集群？ 需要从以下两个方面考虑： 1 ...
分类：
其他好文 时间：
2018-06-24 17:58:44
阅读次数：
253
搭建集群的时候，hdfs的数据挂载点一定要指定到独立的目录，不要制定到/home之类的下面，因为在使用过程中很有可能导致某个挂载点满了，要是这样的话，/home可能就满了，影响linux系统的正常使用。如果多个挂载点存储空间大小相差较大，那么一般设置策略的时候最好设置按照空间，而不要用默认的轮训方式，要不容易空间小的磁盘先满。impala在使用过程中要注意建表的时候指定路径不要指定到根目录
分类：
其他好文 时间：
2018-06-22 14:47:24
阅读次数：
161
一、 集群概述 1、 什么是集群？ 一组各自相互独立且又相互依赖的,通过高速网络互联的计算机组成的一个计算机组, 以单一的系统模式加以管理, 为用户提供服务, 对用户来说, 用户只会认为对方是一个服务. 这个里面, 一组计算机的一台计算机就是集群的一个节点 2、 集群的特性： 可伸缩性, 可靠性, ...
分类：
其他好文 时间：
2018-06-15 13:16:12
阅读次数：
240
文章主目录 Redis集群简介 Redis集群搭建 Redis集群分区原理 集群操作 参考文档 文章主目录 Redis集群简介 Redis集群搭建 Redis集群分区原理 集群操作 参考文档 本文是redis学习系列的第四篇，前面我们学习了redis的数据结构和一些高级特性，点击下面链接可回看 《详 ...
分类：
其他好文 时间：
2018-06-12 14:08:28
阅读次数：
221
一、数据分布 1.数据分布理论 2.Redis数据分区 3.集群功能限制 二、搭建集群 1.准备节点 2.节点握手 3.分配槽 4.用redis-trib.rb搭建集群 三、节点通信 1.通信流程 2.Gossip消息 3.节点选择 四、集群伸缩 1.伸缩原理 2.扩容集群 3.收缩集群 五、请求路 ...
分类：
其他好文 时间：
2018-06-04 23:26:15
阅读次数：
150
搭建集群脚本 #/bin/bash /usr/local/bin/redis-server /usr/local/redis-cluster/30001/redis.conf /usr/local/bin/redis-server /usr/local/redis-cluster/30002/red ...
分类：
其他好文 时间：
2018-06-04 16:54:01
阅读次数：
154
Hadoop 桥接群的搭建 集群分配：(一主三从) 我电脑的虚拟机：hadoop4:namenode+datanode+resourceManager 我one-friend的电脑虚拟机：hml-1:datanode+datamanager 我two-friend的电脑虚拟机：hadoop_yu1: ...
分类：
其他好文 时间：
2018-06-01 10:43:17
阅读次数：
167
