1. 基本信息 hadoop 版本 hadoop-0.20.205.0.tar.gz 操作系统 ubuntu 2. 问题 在使用Hadoop开发初期的时候遇到一个问题。 每次重启系统后发现不能正常运行hadoop。必须执行 bin/hadoop namenode -format 进行格式化才能成功运 ...
分类：
其他好文 时间：
2016-11-19 03:22:22
阅读次数：
302
eclipse:安装路径/usr/local/eclipse hadoop-2.5.2 /usr/local/hadoop-2.5.2 hadoop2x-eclipse-plugin-master已经下载到下载文件夹 ant 安装位置/esr/local/ ant安装进行到修改gedit /etc/ ...
分类：
系统相关 时间：
2016-11-11 20:12:11
阅读次数：
257
一.系统环境
Windows7、Ecplise 4.4.0,Hadoop2.7.2
Hadoop安装教程请看:Hadoop2.7.2安装教程
二.安装步骤
1.安装hadoop插件
下载hadoop-eclipse-plugin-2.7.2.jar(点击下载)，并且拷贝到eclipse根目录下/dropins下
2.启动myeclipse，打开Perspective：
【Window...
1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本：jdk-6u31-windows-i5 ...
分类：
系统相关 时间：
2016-06-27 10:18:34
阅读次数：
204
之前稍微了解了一下大数据方面的知识，在搭建环境的时候我很惆怅的，因为那时候没有弄好，刚好这几天有时间，于是把以前没有弄好的又来配置了一下，没想到居然成功了，这个过程走了很多的弯路，查阅了网上大量资料，终于直接也来整理一下了。
hadoop是分为3种安装模式的，单机模式，伪分布模式和完全分布模式。众所周知，完全分布模式是企业真实开发用的，会需要多台电脑，这里没有条件，...
分类：
其他好文 时间：
2016-05-27 11:46:56
阅读次数：
160
1、YARN 是什么？ 从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看，MapReduce的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性，内存消耗，线程模型，可靠性和性能上的缺陷。在过去的几年中，hadoop 开发团队做了一些 bug 的 ...
分类：
其他好文 时间：
2016-05-16 01:46:45
阅读次数：
128
1、YARN 是什么？ 从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看，MapReduce的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性，内存消耗，线程模型，可靠性和性能上的缺陷。在过去的几年中，hadoop 开发团队做了一些 bug 的 ...
分类：
其他好文 时间：
2016-05-15 09:37:51
阅读次数：
268
下载一个 hadoop-eclipse-plugin-*.jar的eclipse插件，并放在plugins目录下 重启eclipse 打开视象，找“大象” 连接HDFS success 编程准备： 1.建个java项目 在项目下建个文件夹，如lib，导入所需的jar包。然后选中所有的jar包buil ...
分类：
系统相关 时间：
2016-05-08 19:52:57
阅读次数：
215
windows上搭建hadoop开发环境
前言
Windows下运行Hadoop，通常有两种方式：一种是用VM方式安装一个Linux操作系统，这样基本可以实现全Linux环境的Hadoop运行；另一种是通过Cygwin模拟Linux环境。后者的好处是使用比较方便，安装过程也简单
准备工作
安装JDK1.6或更高版本，安装时注意，最好不要安装到带有空格的路径名下，例如:...
使用Hadoop进行离线分析或者数据挖掘的工程师，经常会需要对Hadoop集群或者mapreduce作业进行性能调优。性能调优的前提是需要能准确知道目前针对Hadoop集群或者mapreduce作业配置的参数。本文将针对这一需求，基于Hadoop开发一个简单实用的工具查询查看各种参数。...
分类：
其他好文 时间：
2016-04-22 19:23:43
阅读次数：
152
