上一篇在win7虚拟机下搭建了hadoop2.6.0伪分布式环境。为了开发调试方便，本文介绍在eclipse下搭建开发环境，连接和提交任务到hadoop集群。1. 环境Eclipse版本Luna 4.4.1安装插件hadoop-eclipse-plugin-2.6.0.jar，下载后放到eclips...
分类：
系统相关 时间：
2015-07-27 22:31:11
阅读次数：
172
近几年大数据越来越火热。由于工作需要以及个人兴趣，最近开始学习大数据相关技术。学习过程中的一些经验教训希望能通过博文沉淀下来，与网友分享讨论，作为个人备忘。第一篇，在win7虚拟机下搭建hadoop2.6.0伪分布式环境。1. 所需要的软件 使用Vmware 11.0搭建虚拟机，安装Ubuntu 1...
转自：http://blog.fens.me/hadoop-zookeeper-intro/前言ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中，系统协作大都是进程级的操作。分布式系统中，服务协作都是跨服务器才能完成的。在ZooKeeper之前，我们对于协作服务大都使用消...
分类：
其他好文 时间：
2015-07-25 22:55:21
阅读次数：
242
Hadoop集群的配置即完全分布式Hadoop配置。本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经可以安装伪分布式的Hadoop了。如果你的系统还不能安装伪分布式Hadoop，请参考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完成配置。...
分类：
其他好文 时间：
2015-07-24 20:51:33
阅读次数：
142
1 下载zookeeper安装包
下载地址 http://apache.fayea.com/zookeeper/
我下载的是zookeeper-3.4.6.tar.gz
2 解压缩
将zookeeper-3.4.6.tar.gz拷贝到/usr/local目录下
执行命令 tar -zxvf zookeeper-3.4.6.tar.gz
解压后的目录为...
分类：
其他好文 时间：
2015-07-15 07:00:31
阅读次数：
77
一、hadoop伪分布式搭建 ????其实官网有比较详实的说明，英语好的可以直接看官网，地址 ????1、安装JDK1.7 ????????这个省略，官网显示1.6可以，但是我用openjdk1.6出了异常，JDK1.6没试，直接用...
分类：
其他好文 时间：
2015-07-14 18:27:22
阅读次数：
172
《Hadoop权威指南(第2版)》来讲，伪分布式（pseude-distributed model）是指Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker...
分类：
其他好文 时间：
2015-07-13 18:17:03
阅读次数：
144
第一步：安装JAVA 1.7 此步骤略过，太简单了，可参考这个： http://blog.sina.com.cn/s/blog_6a7cdcd40101b1j6.html 第二步：创建Haddop专用用户 虽然使用root用户也可以部署hadoop,但从系统安全及规范的角度考虑，还是建议大家创建专用...
分类：
其他好文 时间：
2015-07-12 23:01:42
阅读次数：
329
二、安装部署一、storm伪分布式安装（一）环境准备1、OS：debian 72、JDK 7.0（二）安装zookeeper1、下载zookeeper并解压wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper...
分类：
其他好文 时间：
2015-07-10 22:10:54
阅读次数：
303
Spark运行模式Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。
local(本地模式)：常用于本地开发测试，本地还分...
分类：
其他好文 时间：
2015-07-10 13:34:15
阅读次数：
154
