上篇文章Task运行过程1讲到脚本会运行org.apache.hadoop.mapred.Child类。。。
Child类包含一个入口主方法main，在运行的时候需要传递对应的参数，来运行MapTask和ReduceTask，通过命令行输入如下5个参数：
host：表示TaskTracker节点的主机名称
port：表示TaskTracker节点RPc端口号
taskID：表示启动的Task...
分类：
其他好文 时间：
2016-05-18 19:25:34
阅读次数：
243
hive提供了一个严格模式，可以防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格
模式下无法执行。通过设置hive.mapred.mode的值为strict，可禁止3中类型的查询。
1）带有分区的表的查询
如果在一个分区表执行hive，除非where语句中包含分区字段过滤条件来显示数据范围，否则不允许执行。换句话说，
就是用户不允许扫描所有的分区。进行这个限制的原因...
分类：
其他好文 时间：
2016-05-12 14:55:04
阅读次数：
282
Hadoop 2.x伪分布式环境搭建步骤： 1、修改hadoop-env.sh、yarn-env.sh、mapred-env.sh 方法：使用notepad++(beifeng用户)代开这三个文件 添加代码：export JAVA_HOME=/opt/modules/jdk1.7.0_67 2、修改 ...
分类：
其他好文 时间：
2016-05-07 23:41:36
阅读次数：
175
sort by 不受 hive.mapred.mode 的值是否为 strict 和 nostrict 的影响。sort by 的数据只能保证在同一个 Reduce 中的数据可以按指定字段排序；DISTRIBUTE BY 排序查询 按照指定的字段对数据划分到不同的输出 Reduce 文件中；CLUSTER BY 查询 cluster by 除了具有 distribute by 的功能外还兼...
分类：
其他好文 时间：
2016-04-29 18:53:43
阅读次数：
174
sort by 不受 hive.mapred.mode 的值是否为 strict 和 nostrict 的影响。sort by 的数据只能保证在同一个 Reduce 中的数据可以按指定字段排序；DISTRIBUTE BY 排序查询 按照指定的字段对数据划分到不同的输出 Reduce 文件中；CLUSTER BY 查询 cluster by 除了具有 distribute by 的功能外还兼...
分类：
其他好文 时间：
2016-04-26 21:03:49
阅读次数：
204
hadoop namenode -format 格式化分布式文件系统start-all.sh 启动所有Hadoop守护进程stop-all.sh 停止所有Hadoop守护进程start-mapred.sh 启动Map/Reduce守护进程stop-mapred.sh 停止Map/Reduce守护进程 ...
分类：
其他好文 时间：
2016-04-23 19:44:22
阅读次数：
132
安转Hadoop
我的安装路径是根目录下的software
把Hadoop压缩包解压到software目录下
解压后查看目录
要修改的配置文件有四个
修改hadoop-env.sh
修改core-site.xml文件
配置hdfs-site.xml
配置mapred-s...
分类：
其他好文 时间：
2016-04-21 07:32:56
阅读次数：
152
目录 1、MapReduce定义 2、MapReduce来源 3、MapReduce特点 4、MapReduce实例 5、MapReduce编程模型 6、MapReduce 内部逻辑 7、MapReduce架构 8、MapReduce框架的容错性 9、MapReduce资源组织方式 1、MapRed ...
分类：
其他好文 时间：
2016-04-19 23:00:03
阅读次数：
456
Map-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。 MongoDB提供的Map-Reduce非常灵活，对于大规模数据分析也相当实用。 MapReduce 命令 以下是MapReduce的基本语法： 使用 MapRed ...
分类：
数据库 时间：
2016-04-19 19:34:14
阅读次数：
246
如何查看hadoop源码 1解压hadoop安装压缩文件成为文件夹，再进入解压后的文件夹下的src文件夹，选中core，hdfs,mapred三个文件夹 2打开eclipse新建一个Java工程项目 3将步骤1中的三个文件夹复制到新建的工程的src目录下 此时会出现2个问题：1是因为缺少工程文件的j ...
分类：
其他好文 时间：
2016-04-10 00:51:24
阅读次数：
136
