1.转换的并行转换的并行是改变复制的数量上面的转换相当于下面的：实际是把一个任务拆成三部分执行，相当于在一个数据库连接中做了三次查询，数据库连接的开销没有增加，但是有三个进程一起执行。2.job的并行执行只需要在"START"设置即可。建议：将job的条目都做成子job.(To do this, w... ...
分类：
其他好文 时间：
2017-08-31 00:58:17
阅读次数：
178
一、Redis Cluster集群设计Redis集群搭建的方式有多种，例如使用zookeeper等，但从redis3.0之后版本支持Redis-Cluster集群，Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态，每个节点都和其他所有节点连接。其redis-cluster架构 ...
分类：
其他好文 时间：
2017-08-30 11:08:57
阅读次数：
134
一、redis cluster安装 1、下载和编译安装 2、创建redis节点选择2台服务器，分别为：192.168.1.105，192.168.1.160，每台服务器有3个节点，组成3个主节点，3个从节点的redis集群。 a、首先在192.168.1.105创建3个节点： b、分别对7000、7 ...
分类：
其他好文 时间：
2017-08-30 09:58:22
阅读次数：
160
hadoop集群搭建了ha，初次启动正常，最近几天启动时偶尔发现，namenode1节点启动后一段时间（大约10几秒-半分钟左右），namenode1上namenode进程停掉，查看日志： 一、查阅资料后找到原因： 我是用start-al.sh启动的集群，journalnode（端口8485）是在n ...
分类：
编程语言 时间：
2017-08-29 12:44:36
阅读次数：
196
Flume NG高可用集群搭建： 架构总图： 架构分配： 角色 Host 端口 agent1 hadoop3 52020 collector1 hadoop1 52020 collector2 hadoop2 52020 agent1配置(flume-client.conf)： collector1 ...
分类：
Web程序 时间：
2017-08-26 19:40:56
阅读次数：
373
elasticsearch 集群 搭建elasticsearch的集群 现在假设我们有3台es机器，想要把他们搭建成为一个集群 基本配置 每个节点都要进行这样的配置： cluster.name: baichebao-cluster 这个是配置集群的名字，为了能进行自动查找 node.name: "b ...
分类：
其他好文 时间：
2017-08-21 17:02:32
阅读次数：
272
要搭建Redis集群。首先得考虑以下的几个问题; Redis集群搭建的目的是什么？或者说为什么要搭建Redis集群？ Redis集群搭建的目的事实上也就是集群搭建的目的。全部的集群主要都是为了解决一个问题，横向扩展。 在集群的概念出现之前，我们使用的硬件资源都是纵向扩展的，可是纵向扩展非常快就会达到 ...
分类：
其他好文 时间：
2017-08-19 15:51:14
阅读次数：
177
1.选取三台服务器（CentOS系统64位）114.55.246.88主节点114.55.246.77从节点114.55.246.93从节点之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。我是用root用户操作的。2.修改host..
分类：
其他好文 时间：
2017-08-17 19:58:17
阅读次数：
197
之前写过kafka_2.9.2-0.8.2.2版本的安装，kafka在新的0.9版本以上改动比较大，配置和api都有很大更新，并且broker对应的partition支持多线程生产和消费，所以性能比之前好得多，比如老版本的kafka单机每秒可以推送100条数据，但是新版的可以每秒推送达到上千条数据， ...
分类：
其他好文 时间：
2017-08-17 12:39:47
阅读次数：
1267
一、环境介绍与安装准备 1、环境说明 2台虚拟机，OS为ubuntu13.04，ip分别为xxx.xxx.xxx.140和xxx.xxx.xxx.145。 2、安装准备 ElasticSearch（简称ES）由java语言实现，运行环境依赖java。ES 1.x版本，官方推荐至少使用jdk1.6的环 ...
分类：
其他好文 时间：
2017-08-15 12:41:57
阅读次数：
145
