码迷,mamicode.com
首页 >  
搜索关键字:hadoop yarn搭建    ( 13956个结果
namenode未启动
1、问题:start-all.sh结果jps发现namenode没有启动,其它进程都启动2、查看日志,没有namenode生产的日志3、奇了,检查其它进程的日志,都在重新连接namenode Zzzzzzz.....4、记得虚拟机是直接关机的,未执行stop-all.sh5、删除tmp目录(metd...
分类:其他好文   时间:2014-06-18 13:49:33    阅读次数:252
mahout版本兼容问题
运行mahout in action上的cluster示例时报错:Error: Found interface org.apache.hadoop.mapreduce.Counter, but class was expected 确定是版本问题,我的hadoop版本是2.4,但mahout目...
分类:其他好文   时间:2014-06-18 11:07:10    阅读次数:394
nutch,solr集成在hadoop上
nutch,solr集成在hadoop上 nutch是一个应用程序,在我的这个项目里主要是做爬虫用,爬取后的内容寄存在hdfs上,所以在hdfs结合模块现已结合上去了。 solr: 在eclipse新建动态页面项目,删去WebContent的一切内容。 在solr/dist下(或许/solr3.6....
分类:其他好文   时间:2014-06-18 10:30:02    阅读次数:223
Hadoop 2.2.0 在CentOS6.2 64位下的编译
最近在学习搭建Hadoop,直接从Apache官方网站直接下载最新版本Hadoop2.2,结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告。Google了一下发现是因为 hadoop 2.2.0提供的是l...
分类:其他好文   时间:2014-06-18 10:10:52    阅读次数:553
HBase性能测试
hbase org.apache.hadoop.hbase.PerformanceEvaluationUsage: java org.apache.hadoop.hbase.PerformanceEvaluation \ [--miniCluster] [--nomapred] [--rows=RO...
分类:其他好文   时间:2014-06-18 09:57:55    阅读次数:543
hadoop 平均成绩
3.1 实例描述 对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩,如果有多门学科,则每门学科为一个文件。要求在输出中每行有两个间隔的数据,其中,第一个代表学生的姓名,第二个代表其平均成绩。 样本输入: 1)math: 张三 88李四 99王五 66赵六 ....
分类:其他好文   时间:2014-06-18 00:11:31    阅读次数:438
hadoop和hdfs环境搭建
参考链接:http://blog.csdn.net/zolalad/article/details/11470449环境:ubuntu14.04 hadoop1.0.1下面以3台机器为例,讲解安装过程1)准备3台机器,一台作为nameNode,命名为master,两台作为dataNode,命名为sl...
分类:其他好文   时间:2014-06-18 00:06:18    阅读次数:243
OpenStack部署到Hadoop的四种方案
随着企业开始同时利用云计算和大数据技术,现在应当考虑如何将这些工具结合使用。尤其是OpenStack作为目前最流行的开源云版本如何部署在Hadoop上。...
分类:其他好文   时间:2014-06-17 19:00:58    阅读次数:304
Hadoop生态系统学习路线
主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。 从2011年开始,中国进入大数据风起云...
分类:其他好文   时间:2014-06-17 16:44:25    阅读次数:310
hadoop streaming 编程
概况Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程。一个最简单的程序$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar-input myInputDirs...
分类:其他好文   时间:2014-06-17 15:33:54    阅读次数:330
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!