错误代码： 完整错误信息为： Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe. : org.apache.hadoop.mapred.Inva ...
分类：
编程语言 时间：
2020-02-29 13:14:45
阅读次数：
81
spark为什么比mapreduce快 mapreduce的数据处理过程是：把数据从磁盘读到内存，在内存中完成计算，再写回磁盘。下一个mr程序要继续对这批数据进行处理，又要重复这一过程。有多少个mr程序，就有多少次读磁盘和写磁盘的过程，效率低下。 spark的数据处理过程是：把数据读到内存之后，在多 ...
分类：
其他好文 时间：
2020-02-25 13:05:09
阅读次数：
66
1.问题描述：在调试mapreduce辅助排序（二次排序）的过程中，运行程序总是报错 Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@1398c56java.lang.Nu ...
分类：
编程语言 时间：
2020-02-19 01:00:54
阅读次数：
103
目录 前言 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml 一、HDFS HDFS的设计理念 HDFS的缺点 1、NameNode 1.1、namenode的作用 1.2、元数据目录说明 1.3、NameNode启动 2、Secon ...
分类：
其他好文 时间：
2020-02-18 09:58:41
阅读次数：
100
任务的默认排序 MapTask和ReduceTask都会默认对数据按照key进行排序，不管逻辑上是否需要。默认是按照字典顺序排序，且实现该排序的方法是快速排序。但是map和reduce任务只能保证单个任务内部输出有序，不能保证所有输出全局有序。 MapTask，当环形缓冲区使用率到达一定阈值后进行一 ...
分类：
编程语言 时间：
2020-02-16 01:06:19
阅读次数：
74
在mapreduce程序中 //设置输入和输出路径 FileInputFormat.setInputPaths(job,new Path("E:\\Date\\input")); FileOutputFormat.setOutputPath(job,new Path("E:\\Date\\out") ...
分类：
其他好文 时间：
2020-02-15 19:03:16
阅读次数：
111
（一）HDFS简介及其基本概念 HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HD ...
分类：
其他好文 时间：
2020-02-15 18:47:15
阅读次数：
65
弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算。现有的数据流系统对两种应用的处理并不高效：一是迭代式算法，这在图应用和机器学习领域很常见；二是交互式数据挖掘工具 ...
分类：
其他好文 时间：
2020-02-09 23:55:54
阅读次数：
139
sqoop是apache旗下，用于关系型数据库和hadoop之间传输数据的工具，sqoop可以用在离线分析中，将保存在mysql的业务数据传输到hive数仓，数仓分析完得到结果，再通过sqoop传输到mysql，最后通过web+echart来进行图表展示，更加直观的展示数据指标。 sqoop基础 基 ...
分类：
其他好文 时间：
2020-02-06 16:40:10
阅读次数：
80
简单了解了spark，scala语言等，并尝试配置相关环境，安装Scala，spark和支持Scala语言的eclipse：scala ide for eclipse（安装scala ide for eclipse可以省下很多工夫去不用安装maven和scala类似的相关插件） Spark最初的设计 ...
分类：
其他好文 时间：
2020-02-01 23:13:34
阅读次数：
91
