码迷,mamicode.com
首页 >  
搜索关键字:hadoop hdfs命令    ( 13969个结果
mahout版本兼容问题
运行mahout in action上的cluster示例时报错:Error: Found interface org.apache.hadoop.mapreduce.Counter, but class was expected 确定是版本问题,我的hadoop版本是2.4,但mahout目...
分类:其他好文   时间:2014-06-18 11:07:10    阅读次数:394
nutch,solr集成在hadoop上
nutch,solr集成在hadoop上 nutch是一个应用程序,在我的这个项目里主要是做爬虫用,爬取后的内容寄存在hdfs上,所以在hdfs结合模块现已结合上去了。 solr: 在eclipse新建动态页面项目,删去WebContent的一切内容。 在solr/dist下(或许/solr3.6....
分类:其他好文   时间:2014-06-18 10:30:02    阅读次数:223
Hadoop 2.2.0 在CentOS6.2 64位下的编译
最近在学习搭建Hadoop,直接从Apache官方网站直接下载最新版本Hadoop2.2,结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告。Google了一下发现是因为 hadoop 2.2.0提供的是l...
分类:其他好文   时间:2014-06-18 10:10:52    阅读次数:553
HBase性能测试
hbase org.apache.hadoop.hbase.PerformanceEvaluationUsage: java org.apache.hadoop.hbase.PerformanceEvaluation \ [--miniCluster] [--nomapred] [--rows=RO...
分类:其他好文   时间:2014-06-18 09:57:55    阅读次数:543
hadoop实现购物商城推荐系统
1,商城:是单商家,多买家的商城系统。数据库是mysql,语言java。 2,sqoop1.9.33:在mysql和hadoop中交换数据。 3,hadoop2.2.0:这里用于练习的是伪分布模式。 4,完成内容:喜欢该商品的人还喜欢,相同购物喜好的好友推荐。 步骤: 1,通过sqoop从mysql中将 “用户收藏商品” (这里用的是用户收藏商品信息表作为推荐系统业务上的依据,业务依...
分类:其他好文   时间:2014-06-18 07:14:43    阅读次数:230
Shark集群搭建配置
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类:其他好文   时间:2014-06-18 06:54:00    阅读次数:286
【Flume NG用户指南】(2)配置
要在一个Flume Agent中定义数据流,你需要通过一个Channel将Source和Sink连接起来。你需要列出给定Agent的Source、Sink和Channel。一个Source可以指定多个Channel,但是一个Sink只能指定一个Channel。...
分类:其他好文   时间:2014-06-18 06:30:34    阅读次数:306
hadoop 平均成绩
3.1 实例描述 对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩,如果有多门学科,则每门学科为一个文件。要求在输出中每行有两个间隔的数据,其中,第一个代表学生的姓名,第二个代表其平均成绩。 样本输入: 1)math: 张三 88李四 99王五 66赵六 ....
分类:其他好文   时间:2014-06-18 00:11:31    阅读次数:438
hadoop和hdfs环境搭建
参考链接:http://blog.csdn.net/zolalad/article/details/11470449环境:ubuntu14.04 hadoop1.0.1下面以3台机器为例,讲解安装过程1)准备3台机器,一台作为nameNode,命名为master,两台作为dataNode,命名为sl...
分类:其他好文   时间:2014-06-18 00:06:18    阅读次数:243
Hadoop生态系统学习路线
主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。 从2011年开始,中国进入大数据风起云...
分类:其他好文   时间:2014-06-17 16:44:25    阅读次数:310
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!