step1、下载 下载地址：http://zookeeper.apache.org/releases.html 将下载的压缩包放到用户家目录下（其他目录也可以） step2、解压 [plain] view plain copy $tar –zxvf zookeeper-3.4.6.tar.gz [p ...
分类：
其他好文 时间：
2017-05-10 18:53:14
阅读次数：
245
zookeeper的配置： zookeeper有三种配置方式：单机式/伪分布式/集群式 其中伪分布式是在一台电脑上通过不同的端口来模拟分布式情形，需要N份配置文件和启动程序，而集群式是多个zookeeper程序。 首先通过sftp等方式获取tar包，解压到指定的目录：/usr/local/java ...
分类：
Web程序 时间：
2016-11-17 18:49:56
阅读次数：
480
Hadoop: 大数据里面的公认的解决方案标准 第一天 Hadoop的基本概念 伪分布式集群安装 hdfs mapreduce 演示 第二天 hdfs原理和使用操作 第三天 mapreduce 的原理和编程 第四天 常见mr算法实现和shuffle的机制 第五天 Hadoop2.x种HA机制的原理和 ...
分类：
其他好文 时间：
2016-10-02 00:10:28
阅读次数：
220
在 《Docker中搭建Hadoop-2.6单机伪分布式集群》中在容器中操作来搭建伪分布式的Hadoop集群，这一节中将主要通过Dokcerfile 来完成这项工作。 1 获取一个简单的Docker系统镜像,并建立一个容器。 1.1 这里我选择下载CentOS镜像 1.2 通过docker tag命 ...
分类：
其他好文 时间：
2016-08-07 00:48:07
阅读次数：
152
1、什么是kafka?
kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。
kafka目前支持多种客户端语言：java，...
分类：
编程语言 时间：
2016-07-06 11:57:09
阅读次数：
745
1、Zookeeper伪分布的部署(3个节点) 所谓的“伪分布式集群”就是在一台服务器中，启动多个Zookeeper实例。“完全分布式集群”是每台服务器，启动一个Zookeeper实例。 1.1、解压缩zookeeper-3.4.5.tar.gz 1.2、执行命令 cp conf/zoo_sampl
分类：
其他好文 时间：
2016-02-24 17:35:29
阅读次数：
175
前言，之前曾多次搭建集群，由于疏于记录，每次搭建的时候到处翻阅博客，很是费劲，在此特别记录集群的搭建过程。0、环境：Ubuntu14.10、Hadoop2.6.0、spark-1.4.01、安装jdk1.7 （1）下载jdk-7u25-linux-i586.tar.gz； （2）解压jdk-7u.....
分类：
系统相关 时间：
2015-10-22 18:49:49
阅读次数：
2414
原文链接 http://www.cnblogs.com/shengshengwang/p/4852927.html 还记得2.5年前就搭建好了Hadoop伪分布式集群，安装好Eclipse后运行成功了WordCount.java，然后学习Hadoop的步伐就变得很慢了，相信有很多小伙伴和我一样。自己...
分类：
其他好文 时间：
2015-10-03 13:12:57
阅读次数：
214
还记得2.5年前就搭建好了Hadoop伪分布式集群，安装好Eclipse后运行成功了WordCount.java，然后学习Hadoop的步伐就变得很慢了，相信有很多小伙伴和我一样。自己对MR程序（特指Hadoop 1.x版本）的工作过程一直都不是很清楚，现在重点总结一下，为MR编程打好基础。由于M....
分类：
其他好文 时间：
2015-10-03 00:57:22
阅读次数：
269
Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让...
分类：
其他好文 时间：
2015-09-10 19:41:48
阅读次数：
280
