Hadoop学习总结之五：Hadoop的运行痕迹 Hadoop 学习总结之一：HDFS简介 Hadoop学习总结之二：HDFS读写过程解析 Hadoop学习总结之三：Map-Reduce入门 Hadoop学习总结之四：Map-Reduce的过程解析 在使用hadoop的时候，可能遇到各种各样的问题， ...
分类：
其他好文 时间：
2016-08-23 20:25:00
阅读次数：
165
1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据，其格式如下： 按照ASCII码存储，每行一条记录 每一行字符从0开始计数，第15个到第18个字符为年 第25个到第29个字符为温度，其中第25位是符号+/- 0067011990999991950051507+0000+ 004 ...
分类：
其他好文 时间：
2016-08-23 20:18:22
阅读次数：
150
在配置hbase集群将 hdfs 挂接到其它镜像盘时，有不少困惑的地方，结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigtable，其中GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生， ...
分类：
其他好文 时间：
2016-08-21 12:30:27
阅读次数：
229
背景 何为hive on spark hive现在已经成为各大公司进行大数据分析处理的宠儿了。由于hive对SQL语法更全面的支持，数据分析人员可以很容易地把原有数据分析应用方便地迁移到hive上并进行大数据量的计算。Hive最初的计算引擎为MapReduce，受限于其自身的Map+Reduce计算 ...
分类：
其他好文 时间：
2016-08-21 11:01:17
阅读次数：
180
Hadoop简介： Hadoop是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase Map/Reduce： MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs, ...
分类：
其他好文 时间：
2016-08-20 13:12:04
阅读次数：
137
filter(func,iter) 只能处理一个参数(iter)，仅仅将满足func方法的数值过滤出来 如： a = [1,2,3,4,5] list(filter(lambda x:x>2,a)) 输出结果为: [3,4,5] map(func,iter1,iter2,..) 可以处理多个iter ...
分类：
编程语言 时间：
2016-08-18 01:04:31
阅读次数：
192
本文主要讲解三个问题： 1 使用Java编写MapReduce程序时，如何向map、reduce函数传递参数。 2 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时，如何向map、reduce脚本传递参数。 3 使用Streaming编写MapReduc ...
分类：
其他好文 时间：
2016-08-11 19:11:02
阅读次数：
150
Java版本程序开发过程主要包含三个步骤，一是map、reduce程序开发；第二是将程序编译成JAR包；第三使用Hadoop jar命令进行任务提交。 下面拿一个具体的例子进行说明，一个简单的词频统计，输入数据是一个单词文本，输出每个单词的出现个数。 一、MapReduce程序 标准的MapRedu ...
分类：
编程语言 时间：
2016-08-08 14:15:22
阅读次数：
240
提起map和reduce想必大家并不陌生，Google公司2003年提出了一个名为MapReduce的编程模型[1]，用于处理大规模海量数据，并在之后广泛的应用于Google的各项应用中，2006年Apache的Hadoop项目[2]正式将MapReduce纳入到项目中。 好吧，闲话少说，今天要介绍 ...
分类：
编程语言 时间：
2016-08-07 15:19:22
阅读次数：
196
RDD是个抽象类，定义了诸如map()、reduce()等方法，但实际上继承RDD的派生类一般只要实现两个方法： def getPartitions: Array[Partition] def compute(thePart: Partition, context: TaskContext): Ne ...
分类：
其他好文 时间：
2016-08-02 23:43:14
阅读次数：
137
