在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序：import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
...
分类：
其他好文 时间：
2014-07-22 23:01:32
阅读次数：
405
#paip.提升效率---filter map reduce 的java
函数式编程实现========================================================#----------------------index索引------------------++...
分类：
编程语言 时间：
2014-05-23 06:44:58
阅读次数：
431
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
课程讲师：迪伦
课程分类：Java
适合人群：高级
课时数量：96课时
用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop
涉及项目：Greenplum Hadoop大数据分析平台
更新程度：完毕
对这个课程有兴趣的朋友可以加我的QQ2059055336和...
分类：
其他好文 时间：
2014-05-21 13:23:22
阅读次数：
363
本栏目来源于Andrew NG老师讲解的Machine
Learning课程，主要介绍大规模机器学习以及其应用。包括随机梯度下降法、维批量梯度下降法、梯度下降法的收敛、在线学习、map
reduce以及应用实例：photo OCR。课程地址为：https://www.coursera.org/cou...
分类：
移动开发 时间：
2014-05-18 00:36:57
阅读次数：
452
Hadoop Streaming 是一个工具， 代替编写Java的实现类，而利用可执行程序来完成map-reduce过程
工作流程 ：
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件，可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类：
编程语言 时间：
2014-05-11 14:46:35
阅读次数：
519
从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
一、 概念知识介绍
Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题，可以使没有并行 处理或者分布式计算经验的工程师，也能很轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程序。
Hadoop MapReduce基于“分而治之”的思想，将计算任务...
分类：
其他好文 时间：
2014-05-10 04:39:09
阅读次数：
570
接到阿里电话说实习和竞赛智能二选一, 真伤心, 在实习前发挥余热吧.
总结一下在ODPS下 编写map / reduce 和进行购买预测的过程.
首先这里的hadoop输入输出都是表的形式, 我们需要一张输入表和一张输出表.
输入表为 提供的 t_alibaba_bigdata_user_brand_total_1 输出表为自定义的wc_out
w...
分类：
其他好文 时间：
2014-05-09 02:33:28
阅读次数：
418
1、Map-Reduce的逻辑过程
假设我们需要处理一批有关天气的数据，其格式如下：
按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-
0067011990999991950051507+0000+
0043011990999991950051512+0022+
00430119...
分类：
其他好文 时间：
2014-04-29 13:22:20
阅读次数：
309
