大致可以将大数据的计算引擎分成了 4 代。 1、第一代的计算引擎，无疑就是Hadoop承载的MapReduce。它将每个JobApp都被设计为两个阶段，分别为Map和Reduce。对于上层应用来说，就不得不想方设法去拆分算法，甚至于不得不在 上层应用实现多个App的串联 ，才能完成一个完整的算法，例 ...
分类：
其他好文 时间：
2020-02-21 12:50:43
阅读次数：
77
引自[https://www.iteye.com/blog/langyu 992916] shuffle的意义有三点： 1.把map task端的数据完整传输到reduce task端 2.减少不必要的宽带消耗 3.减少磁盘IO消耗 首先把Shuffle理解为map的shuffle和reduce的s ...
分类：
其他好文 时间：
2020-02-20 13:13:52
阅读次数：
65
一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
1.1.1 map端连接-CompositeInputFormat连接类 （1）使用CompositeInputFormat连接类需要满足三个条件： 1）两个数据集都是大的数据集，不能用缓存文件的方式。 2）数据集都是按照相同的键进行排序； 3）数据集有相同的分区数，同一个键的所有记录在同一个分区中 ...
分类：
其他好文 时间：
2020-02-19 01:08:59
阅读次数：
59
1.问题描述：在调试mapreduce辅助排序（二次排序）的过程中，运行程序总是报错 Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@1398c56java.lang.Nu ...
分类：
编程语言 时间：
2020-02-19 01:00:54
阅读次数：
103
任务的默认排序 MapTask和ReduceTask都会默认对数据按照key进行排序，不管逻辑上是否需要。默认是按照字典顺序排序，且实现该排序的方法是快速排序。但是map和reduce任务只能保证单个任务内部输出有序，不能保证所有输出全局有序。 MapTask，当环形缓冲区使用率到达一定阈值后进行一 ...
分类：
编程语言 时间：
2020-02-16 01:06:19
阅读次数：
74
在mapreduce程序中 //设置输入和输出路径 FileInputFormat.setInputPaths(job,new Path("E:\\Date\\input")); FileOutputFormat.setOutputPath(job,new Path("E:\\Date\\out") ...
分类：
其他好文 时间：
2020-02-15 19:03:16
阅读次数：
111
（一）HDFS简介及其基本概念 HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HD ...
分类：
其他好文 时间：
2020-02-15 18:47:15
阅读次数：
65
问题 一个wordcount运行总是报错 java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.hadoop.mapreducedemo1.mapreducedemo.mapper.MyMapperTask 网 ...
分类：
编程语言 时间：
2020-02-14 22:53:25
阅读次数：
96
Python内建了map()和reduce()函数。 如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Large Clusters”，你就能大概明白map/reduce的概念。 我们先看map。map()函数接收两个参数， ...
分类：
编程语言 时间：
2020-02-14 00:55:52
阅读次数：
70
