?一、下载须知 软件准备： spark-1.0.0-bin-hadoop1.tgz? ?下载地址：spark1.0.0 scala-2.10.4.tgz ? ?下载下载：Scala 2.10.4 hadoop-1.2.1-bin.tar.gz ? 下载地址：hadoop-1.2.1-bin.tar.gz jdk-7u60-li...
分类：
其他好文 时间：
2014-07-21 23:30:01
阅读次数：
525
在本机上装的CentOS 5.5 虚拟机， 软件准备：jdk 1.6 U26 hadoop:hadoop-0.20.203.tar.gzssh检查配置Linux代码 [root@localhost~]#ssh-keygen-trsaGeneratingpublic/privatersakeypair...
分类：
其他好文 时间：
2014-07-17 21:39:54
阅读次数：
551
一、前期准备
1、创建伪分布Hadoop环境，请参考官方文档。
2、准备数据文件如下sample.txt：
12345679867623119010123456798676231190101234567986762311901012345679867623119010123456+001212345678903456
123456798676231190101234567986762311...
分类：
其他好文 时间：
2014-07-10 19:41:45
阅读次数：
479
1. 安装这里以安装hadoop-0.20.2为例先安装java,参考这个去着下载hadoop解压tar -xzf hadoop-0.20.22. 配置修改环境变量vim ~/.bashrcexport HADOOP_HOME=/home/rte/hadoop-0.20.2 #这里为实际hado.....
分类：
其他好文 时间：
2014-07-06 15:12:24
阅读次数：
255
HBase是依赖Hadoop的数据存储系统，可以实现大数据(过亿条记录)的存储，进行并行化处理。在特定的场景下HBase有自己的用武之地。下面讲述如何进行伪分布模式安装1.设置环境变量我使用的HBase版本是hbase-0.94.7-security.tar.gz，安装在机器hadoop0的/usr...
分类：
其他好文 时间：
2014-06-28 09:46:59
阅读次数：
266
前面已经在我的Ubuntu单机上面搭建好了伪分布模式的HBase环境，其中包括了Hadoop的运行环境。
详见我的这篇博文：http://blog.csdn.net/jiyiqinlovexx/article/details/29208703
我的目的主要是学习HBase，下一步打算学习的是将HBase作为Hadoop作业的输入和输出。
但是好像以前在南大上学时学习的Hadoop都忘记得差不...
分类：
其他好文 时间：
2014-06-25 08:41:05
阅读次数：
889
在Ubuntu14.04下安装Hadoop2.4.0 （单机模式）基础上配置一、配置core-site.xml/usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息。编辑器中打开此文件sudo gedit /usr/local/had...
分类：
其他好文 时间：
2014-06-20 20:25:13
阅读次数：
270
1，商城：是单商家，多买家的商城系统。数据库是mysql，语言java。
2，sqoop1.9.33：在mysql和hadoop中交换数据。
3，hadoop2.2.0：这里用于练习的是伪分布模式。
4，完成内容：喜欢该商品的人还喜欢，相同购物喜好的好友推荐。
步骤：
1，通过sqoop从mysql中将 “用户收藏商品” （这里用的是用户收藏商品信息表作为推荐系统业务上的依据，业务依...
分类：
其他好文 时间：
2014-06-18 07:14:43
阅读次数：
230
五、搭建Hadoop集群上面的步骤，确认了单机可以执行Hadoop的伪分布执行，真正的分布式执行无非也就是多几台slave机器而已，配置方面的有一点点区别，配置起来就非常简单了。1、准备三台服务器192.168.56.101192.168.56.102192.168.56.103在每台机器的/etc/hosts中都将ip及hostname给映射上：192.168.56.101 nginx1192...
分类：
其他好文 时间：
2014-06-16 23:18:41
阅读次数：
499
1.hadoop的伪分布安装(采用Host-only模式) 1.1 设置ip地址 1.1.1设置宿主机的VirtualBox Host-only Network网路设置 IP地址：192.168.56.1 子网掩码：255.255.255.0 默认网关：不填 ...
分类：
其他好文 时间：
2014-06-14 09:50:02
阅读次数：
207
