在之前的工作中，主要做了三件事情：1 如何完成Hadoop的完全分布式集群搭建
2 如何运行Hadoop自带示例WordCount，验证集群的运行
3 如何基于eclipse插件实现Hadoop编程完成每一件事都需要经过谨慎的操作、反复的验证，还有耐心。安装完之后一下成功是很难的，仍需要检验每一步的操作、查看错误问题的日志、分析网上类似问题的各类解决方法，于是在千转百回之下，柳暗花明。我分享了以...
分类：
其他好文 时间：
2016-05-07 10:12:56
阅读次数：
268
本文主要讲解Hadoop完全分布式的搭建，使用vm建立三个相同配置的主机进行搭建。本文讲解所有详细步骤希望对大家有用。...
分类：
其他好文 时间：
2016-05-07 07:07:33
阅读次数：
162
---记于2015年11月6日星期五 准备工作 软硬件环境 主机操作系统：处理器：i5，主频：3.2G，内存：8G，Windows64 虚拟机软件：VMware Workstation 10 虚拟操作系统：CentOs-6.5 64位 JDk：1.8.0_65 64位 Hadoop：1.2.1 集群... ...
分类：
其他好文 时间：
2016-05-06 20:23:26
阅读次数：
310
我再虚拟机上配置了三个节点，一个作为NameNode，另外两个作为DataNode，如图所示
在每个节点上输入ifconfig，来查询每个节点的IP地址。
配置namenode 和datanode ,配置成功的关键在于确保各节点的主机名和IP地址之间能正确解析。修改每台机器的/etc/hosts，如果该节点作为NameNode用，则需要在文件中添加集群中所有机器的IP地...
分类：
其他好文 时间：
2016-04-29 15:57:40
阅读次数：
134
一、规划192.168.10.135Master192.168.10.132Slave1192.168.10.133Slave2注:均已关闭SELinux和Firewalld.二、部署前准备a.添加Hadoop用户并设置密码#useraddhadoop
#passwd--stdinhadoopb.添加sudo权限#ls-la/etc/sudoers
#chmodu+w/etc/sudoers##添加写权限
#vi/etc/sudoers
9..
分类：
其他好文 时间：
2016-04-22 16:54:28
阅读次数：
279
一、Hadoop部署模式单机模式：默认情况下运行为一个单独机器上的独立Java进程，主要用于调试环境伪分布模式：在单个机器上模拟成分布式多节点环境，每一个Hadoop守护进程都作为一个独立的Java进程运行完全分布式模式：真实的生产环境，搭建在完全分布式的集群环境二、添加用户..
分类：
其他好文 时间：
2016-04-20 13:45:05
阅读次数：
225
一、本文说明：本次测试在五台虚拟机系统上进行完全分布式搭建。Hadoop分布式模式是在多台机器上分布式部署，配置非常类似于伪分布式，名称节点和数据节点都分布在不同的主机上，每台数据节点上都有相应的任务调度。二、环境说明：虚拟软件：VM10.0操作系统：CentOs6.7hadoop版..
分类：
其他好文 时间：
2016-04-14 22:44:22
阅读次数：
262
对于Hadoop来说，最主要的是两个方面，一个是分布式文件系统HDFS，另一个是MapReduce计算模型，搭建Hadoop的运行环境主要分为三种：独立模式环境、伪分布式环境、完全分布式环境。一、独立模式：也叫单机模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地..
分类：
其他好文 时间：
2016-04-13 00:43:24
阅读次数：
143
作为linux和hadoop小白，初次安装hadoop真是心累，用了两天时间才安装成功。下面就介绍下Hadoop安装：
一、机器配置和安装说明
一台笔记本、 vmware 、I7处理器 。centos—7系统。hadoop使用2.7.2
二、利用vmware 安装 三个节点。（此处可以先建立一个centos虚拟机，因为后面需要安装jdk，hadoop，还要配...
分类：
其他好文 时间：
2016-04-08 15:10:39
阅读次数：
218
参考书籍：《Spring in action》 1996年：java bean规范针对java定义了软件组件模型，但不支持事务、安全、分布式计算等企业服务。 1998年： EJB 把java组件的设计理念延伸到服务器端，并提供许多必须得企业级服务。简化了事务、安全等开发，但是在部署描述符和配套代码实 ...
分类：
编程语言 时间：
2016-04-02 20:12:42
阅读次数：
217
