运行mahout in action上的cluster示例时报错:Error: Found interface org.apache.hadoop.mapreduce.Counter, but class was expected 确定是版本问题,我的hadoop版本是2.4,但mahout目...
分类:
其他好文 时间:
2014-06-18 11:07:10
阅读次数:
394
nutch,solr集成在hadoop上 nutch是一个应用程序,在我的这个项目里主要是做爬虫用,爬取后的内容寄存在hdfs上,所以在hdfs结合模块现已结合上去了。 solr: 在eclipse新建动态页面项目,删去WebContent的一切内容。 在solr/dist下(或许/solr3.6....
分类:
其他好文 时间:
2014-06-18 10:30:02
阅读次数:
223
最近在学习搭建Hadoop,直接从Apache官方网站直接下载最新版本Hadoop2.2,结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告。Google了一下发现是因为 hadoop 2.2.0提供的是l...
分类:
其他好文 时间:
2014-06-18 10:10:52
阅读次数:
553
hbase org.apache.hadoop.hbase.PerformanceEvaluationUsage: java org.apache.hadoop.hbase.PerformanceEvaluation \ [--miniCluster] [--nomapred] [--rows=RO...
分类:
其他好文 时间:
2014-06-18 09:57:55
阅读次数:
543
1,商城:是单商家,多买家的商城系统。数据库是mysql,语言java。
2,sqoop1.9.33:在mysql和hadoop中交换数据。
3,hadoop2.2.0:这里用于练习的是伪分布模式。
4,完成内容:喜欢该商品的人还喜欢,相同购物喜好的好友推荐。
步骤:
1,通过sqoop从mysql中将 “用户收藏商品” (这里用的是用户收藏商品信息表作为推荐系统业务上的依据,业务依...
分类:
其他好文 时间:
2014-06-18 07:14:43
阅读次数:
230
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类:
其他好文 时间:
2014-06-18 06:54:00
阅读次数:
286
要在一个Flume Agent中定义数据流,你需要通过一个Channel将Source和Sink连接起来。你需要列出给定Agent的Source、Sink和Channel。一个Source可以指定多个Channel,但是一个Sink只能指定一个Channel。...
分类:
其他好文 时间:
2014-06-18 06:30:34
阅读次数:
306
3.1 实例描述 对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩,如果有多门学科,则每门学科为一个文件。要求在输出中每行有两个间隔的数据,其中,第一个代表学生的姓名,第二个代表其平均成绩。 样本输入: 1)math: 张三 88李四 99王五 66赵六 ....
分类:
其他好文 时间:
2014-06-18 00:11:31
阅读次数:
438
参考链接:http://blog.csdn.net/zolalad/article/details/11470449环境:ubuntu14.04 hadoop1.0.1下面以3台机器为例,讲解安装过程1)准备3台机器,一台作为nameNode,命名为master,两台作为dataNode,命名为sl...
分类:
其他好文 时间:
2014-06-18 00:06:18
阅读次数:
243
主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。
从2011年开始,中国进入大数据风起云...
分类:
其他好文 时间:
2014-06-17 16:44:25
阅读次数:
310