前边已经介绍了一种hadoop的安装工具，但是HDP动态添加节点会有一些问题，而且现在用的人好像不是很多，如果想用官方更多的，可以选择HDP，如果想使用更方便一些，可以选择CDH。安装HDP可以参考：使用HDP快速搭建Hadoop开发环境http://www.debugo.com/hdp-dev-s...
分类：
其他好文 时间：
2015-04-24 15:35:56
阅读次数：
311
本篇博文中谈及的Hadoop和HBase都是单机版，简单了解。首先在Ubuntu上搭建Hadoop开发环境，主要参考另外一篇博客，仔细照做并解决出现的问题即可。地址：http://www.powerxing.com/install-hadoop-2-4-1-single-node/这篇文章的思路很清...
分类：
系统相关 时间：
2015-04-21 17:22:45
阅读次数：
157
1.概述 我们已经能够搭建一个高可用的Hadoop平台了，也熟悉并掌握了一个项目在Hadoop平台下的开发流程，基于Hadoop的一些套件我们也能够使用，并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上，我们接着往后面去研究学习，那就是Hadoop的源码了，作为Hadoop开发人员....
分类：
其他好文 时间：
2015-04-12 01:20:23
阅读次数：
166
我们的目的是搭建一个可以在任何地方使用的hadoop开发环境。创建maven项目创建一个maven项目，什么类型的项目随便引入hadoop配置文件copy hadoop的配置文件到src/main/resources文件中，只考有用的就行，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml等。设置环境变量hadoop的配置文件夹中的配置...
分类：
系统相关 时间：
2015-03-19 18:23:53
阅读次数：
200
1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本：jdk-6u31-windows-...
分类：
系统相关 时间：
2015-03-06 15:26:38
阅读次数：
232
很早就听说hadoop，但项目中一直没怎么接触，今天终于下定决心，花了一天的时间，搭起了基本的开发环境，总结如下。
一.软件准备
jdk、hadoop软件包、eclipse软件包（linux版）
二.安装java
详见http://blog.csdn.net/tonytfjing/article/details/42167599
三.安装hadoop（单机伪分布式）
3...
分类：
其他好文 时间：
2015-03-04 22:49:30
阅读次数：
213
一、业务说明
使用Hadoop2及其他开源框架，对本地的日志文件进行处理，将处理后需要的数据（PV、UV...）重新导入到关系型数据库（Mysql）中，使用Java程序对结果数据进行处理，组织成报表的形式在数据后台进行展示。
二、为什么使用Hadoop(开发动机)
现有的日志处理方式，是采用纯的java程序来计算的，对于大数据的日志文件来说，这种方案在处理速度、IO占用、数据备份及资源...
分类：
数据库 时间：
2015-02-05 20:34:11
阅读次数：
280
本人最近在windows上想写一个测试的程序MaxMapperTemper，然后身边没有服务器，所以想在win7上配置。
成功了。这里写下笔记希望对大家有帮助
安装和配置的步骤是：
我的是myeclipse 8.5
hadoop-0.20.2-eclipse-plugin.jar
1、安装Hadoop开发插件
hadoop安装包co...
开发环境搭建参考 Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境>：http://blog.itpub.net/26230597/viewspace-1370205/1，程序代码如下：?package wc;import java.io.IOException;import java.util.StringTokenizer;import org.ap...
分类：
其他好文 时间：
2014-12-31 01:07:01
阅读次数：
1235
1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本：jdk-6u31-windows-...
分类：
系统相关 时间：
2014-12-24 00:00:43
阅读次数：
491
