一、Hadoop组件依赖关系：步骤1）关闭防火墙和禁用SELinux切换到root用户关闭防火墙：service iptables stop禁用SELinuxvim /etc/sysconfig/selinux 设置SELinux=disabled2）设置静态IPvim /etc/sysconfig...
分类：
其他好文 时间：
2015-06-09 21:41:39
阅读次数：
111
可参阅官方文档http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html文件下载：http://mirrors.hust.edu.cn/apache/hadoop/common/注：可直接使用2.5.2或2.6.0版本都解决了2.5.1中不稳定bug1伪分布式部署以测试通过的为例Linuxversion..
分类：
其他好文 时间：
2015-01-04 19:36:21
阅读次数：
254
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据，则MapReduce为海量的数据提供了计算。Hadoop 容易开发和运行处理大...
分类：
其他好文 时间：
2014-12-19 10:07:54
阅读次数：
307
1.部署环境系统:CentOS6.3JDK和hadoop的下载直接参考分布式安装...2.伪分布式环境不需要配置/etc/hosts本机也需要免密码ssh登录sshlocalhost3.配置修改1.conf/core-site.xml<configuration>
<property>
<name>fs.default.name</name>
<value>hdf..
分类：
其他好文 时间：
2014-11-26 06:52:24
阅读次数：
154
前言: 毕业两年了，之前的工作一直没有接触过大数据的东西，对hadoop等比较陌生，所以最近开始学习了。对于我这样第一次学的人，过程还是充满了很多疑惑和不解的，不过我采取的策略是还是先让环境跑起来，然后在能用的基础上在多想想为什么。 通过这三个礼拜(基本上就是周六周日，其他时间都在加班啊T ...
分类：
其他好文 时间：
2014-10-09 13:05:13
阅读次数：
292
下面介绍myeclipse与hadoop的集成。我用的myeclipse版本是8.5.1、安装hadoop开发插件在hadoop1.2.1版本的安装包contrib/目录下，已经不再提供hadoop-eclipse-pligin-1.2.1.jar;而是提供了源代码文件，需要我们自行重新编译成jar...
下面开始hadoop的安装与配置；（1）安装jdk我安装的是JDK1.7.0_40，windows x64版的下载完之后，直接点击安装，我的安装路径为默认路径：C:\Program Files\Java\jdk1.7.0_40；安装完毕后，设置环境变量：JAVA_HOME指向JDk安装目录PATH指...
hadoop的运行环境应该是在linux环境。如果想在windows环境下安装和运行hadoop，一般有两种方式：一种是VM的方式linux操作系统，这样可以实现全linux环境的hadoop运行；另一种方式安装cygwin模拟linux环境，该方法相对比较简单方便。本文采取cywin的方式。下面将...
hive0.13.1在hadoop2.4.1伪分布式部署上安装过程环境：redhat enterprice 6.5 +hadoop2.4.1+hive0.13.1+mysql单节点伪分布式部署相关网址：hive官网安装指导：https://cwiki.apache.org/confluence/di...
分类：
数据库 时间：
2014-08-09 21:21:09
阅读次数：
357
