4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-14 08:35:18
阅读次数：
311
启动namenode，通过50070端口查看，发现livenode只有一个--namenode，查看datanode日志，发现有”Incompatible clusterIDs“错误，提示很明显，namenode和datanode的集群id不一致解决办法：找到core-site.xml配置文件，进入...
分类：
其他好文 时间：
2014-07-14 00:54:10
阅读次数：
196
最近一段时间，因为搞hadoop的缘故，考虑到启动linux桌面会给电脑带来比较卡。。所以就将图形界面的启动给关闭，完全在命令的模式下使用linux。
使用yum搭建了ftp服务。。yum的使用参考：http://blog.csdn.net/enson16855/article/details/9140623
windows使用FileZilla连接linux的ftp，比较郁闷的是上传问题，弄...
分类：
其他好文 时间：
2014-07-13 14:04:11
阅读次数：
324
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有这...
分类：
其他好文 时间：
2014-07-12 22:50:33
阅读次数：
185
对于hadoop HDFS 中的所有命令进行解析（其中操作流程是自己的想法有不同意见欢迎大家指正）
接口名称
功能
操作流程
get
将文件复制到本地文件系统 。如果指定了多个源文件，本地目的端必须是一个目录。
（1）按照上述机制，在Config server上的存储引擎中逐层读取K-V，直到获得文件名（或大文件元数据...
分类：
其他好文 时间：
2014-07-12 22:25:59
阅读次数：
389
1 概述
该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。
2 为什么要使用MapReduce
Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不...
分类：
其他好文 时间：
2014-07-12 21:31:22
阅读次数：
296
从源代码的角度来看一下Spark SQL的核心执行流程吧...
分类：
数据库 时间：
2014-07-12 21:07:32
阅读次数：
299
JAVA_HOME出现问题后查看这里面是否出现空格，在UNIX下空格无法解析，export JAVA_HOME="/cygdrive/c/jdk/jdk1.7.0_03"
export HADOOP_HOME=/cygdrive/c/Cygwin/home/hadoop
export PATH=$PATH:$HADOOP_HOME/bin解决办法：空格去掉，换一下java虚拟机的路径。...
分类：
编程语言 时间：
2014-07-12 20:37:49
阅读次数：
167
hadoop出现namenode running as process 18472. Stop it first.等等，类似的出现了好几个。
解决办法：说明你没有启动起来，所以在启动之前你需要 在重新启动hadoop之前要先stop掉所有的hadoop服务。
然后恢复正常启动。...
分类：
其他好文 时间：
2014-07-12 19:54:29
阅读次数：
364
4.3 Map类
创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。
4.3.1 Map介绍
...
分类：
其他好文 时间：
2014-07-12 17:23:40
阅读次数：
262
