前言，之前曾多次搭建集群，由于疏于记录，每次搭建的时候到处翻阅博客，很是费劲，在此特别记录集群的搭建过程。0、环境：Ubuntu14.10、Hadoop2.6.0、spark-1.4.01、安装jdk1.7 （1）下载jdk-7u25-linux-i586.tar.gz； （2）解压jdk-7u.....
分类：
系统相关 时间：
2015-10-22 18:49:49
阅读次数：
2414
构建Hadoop伪分布式环境 这篇文章介绍Hadoop伪分布式环境的搭建过程与原理，是个人的学习总结，以纪念在各个步骤中遇到的麻烦、踩过的坑！ 这篇笔记包含这样几个内容：
配置伪分布式环境
运行一个简单的作业
可能遇到的问题及解决办法
配置伪分布式环境 本文中的内容基于Hadoop2，即MapReduce作业运行在Yarn平台之上。
打通SSH，实现无密码登陆
由于Hadoop控制脚本需...
分类：
其他好文 时间：
2015-10-13 19:18:26
阅读次数：
230
实验平台：Virtual Box 4.3.24CentOS7JDK 1.8.0_60Hadoop 2.6.0Hadoop基本安装配置主要包括以下几个步骤：1）创建Hadoop用户2）安装Java3）设置SSH登陆权限4）单机安装配置5）伪分布式安装配置1.1 创建Hadoop用户linux创建用户的...
分类：
其他好文 时间：
2015-10-10 21:27:26
阅读次数：
301
原文链接 http://www.cnblogs.com/shengshengwang/p/4852927.html 还记得2.5年前就搭建好了Hadoop伪分布式集群，安装好Eclipse后运行成功了WordCount.java，然后学习Hadoop的步伐就变得很慢了，相信有很多小伙伴和我一样。自己...
分类：
其他好文 时间：
2015-10-03 13:12:57
阅读次数：
214
还记得2.5年前就搭建好了Hadoop伪分布式集群，安装好Eclipse后运行成功了WordCount.java，然后学习Hadoop的步伐就变得很慢了，相信有很多小伙伴和我一样。自己对MR程序（特指Hadoop 1.x版本）的工作过程一直都不是很清楚，现在重点总结一下，为MR编程打好基础。由于M....
分类：
其他好文 时间：
2015-10-03 00:57:22
阅读次数：
269
本文基本按照kinglau的方法安装,在此表示感谢.附主要参考的三篇文章http://www.cnblogs.com/kinglau/p/3794433.html 单机模式安装http://www.cnblogs.com/kinglau/p/3796164.html 伪分布式安装http://www...
分类：
系统相关 时间：
2015-09-25 12:51:44
阅读次数：
163
13年学习过一段时间的hadoop，但是工作中用到的地方比较少，有些生疏，加上现在hadoop版本也已经比较新了，所以空闲时间想继续学习一下，找到这篇文章，从头开始搭建一个hadoop环境，转过来备忘 Hadoop developer...
分类：
系统相关 时间：
2015-09-20 17:52:54
阅读次数：
324
配置hadoop2.7.1伪分布式 需要配置五个文件第一个： vim hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_80第二个： vim core-site.xml fs.defaultFS hdfs://majiabin01:9000 ...
分类：
其他好文 时间：
2015-09-19 13:47:48
阅读次数：
141
1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.244.131. 子网掩码：255.255.255.0 -> apply -> ok 回到....
分类：
其他好文 时间：
2015-09-18 12:01:53
阅读次数：
223
