1、概述Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）$HADOOP_HOME/bi...
分类：
其他好文 时间：
2014-06-19 06:10:13
阅读次数：
345
问题导读：1.如果获取hadoop srcmaven包？2.编译hadoop需要装哪些软件？3.如何编译hadoop2.4?扩展：编译hadoop为何安装这些软件？本文链接http://www.aboutyun.com/thread-8130-1-1.html一、首先下载hadoop源码包下载的方式...
分类：
系统相关 时间：
2014-06-19 06:05:04
阅读次数：
329
转自：使用Python实现Hadoop MapReduce程序英文原文：Writing an Hadoop MapReduce Program in Python根据上面两篇文章，下面是我在自己的ubuntu上的运行过程。文字基本采用博文使用Python实现Hadoop MapReduce程序， 打...
分类：
编程语言 时间：
2014-06-19 06:01:59
阅读次数：
366
目的这份文档描写叙述了怎样安装、配置和管理从几个节点到有数千个节点的Hadoop集群。玩的话，你可能想先在单机上安装。(看单节点配置)。准备从Apache镜像上下载一个Hadoop的稳定版本号。安装安装一个Hadoop集群，一般包含分发软件到全部集群中的机器上或者是安装RPMs。一般地，集群中的一台...
分类：
其他好文 时间：
2014-06-19 00:19:50
阅读次数：
372
1、检查空间是否够用（我的就是这个原因） df -hl 查看，如果可用的很少，那就是了。2、datanode是否正常启动 访问：50070，查看datanode的个数，如果不对应，重新启动3、是否在safemode下 hadoop dfsadmin -safemode get,查看，leave...
分类：
其他好文 时间：
2014-06-19 00:14:41
阅读次数：
306
使用 Apache Pig 从大数据集中获得所需的信息Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言，并在...
分类：
其他好文 时间：
2014-06-18 23:59:12
阅读次数：
305
Mapreduce 模式中的 Pig对于 MapReduce 模式，必须首先确保 Hadoop 正在运行。要做到这一点，最简单的方法是在 Hadoop 文件系统树的根上执行文件列表操作，如 清单 3 所示。清单 3. 测试 Hadoop 可用性$ hadoop dfs -ls /Found 3 it...
分类：
其他好文 时间：
2014-06-18 22:46:01
阅读次数：
490
測试版本号：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到例如以下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultConta...
分类：
其他好文 时间：
2014-06-17 00:51:07
阅读次数：
1853
本打算使用mapr的虚拟机在里面进行开发,使用eclipse进行调试,它的问题是,有时候服务不能完全起来,如jobtracker和tasktracker,cldb没有起来,重启服务有可能解决.但另外一个问题是我使用eclipse和0.20.2的插件,无法连接DFS location,无法调试hado...
分类：
其他好文 时间：
2014-06-16 23:40:12
阅读次数：
320
