从Hadoop MR到Spark 回顾hadoop—mapreduce计算过程 MR VS Spark 从Hadoop MR到Spark 回顾hadoop—mapreduce计算过程 MR VS Spark Spark编程模型 核心概念 注意：对比mr里的概念来学习 Spark Applicatio ...
分类：
其他好文 时间：
2019-01-20 17:34:04
阅读次数：
226
No more tricks, Mr Nanguo Time Limit: 3000/1000 MS (Java/Others) Memory Limit: 65535/32768 K (Java/Others)Total Submission(s): 576 Accepted Submission ...
分类：
其他好文 时间：
2019-01-20 14:00:53
阅读次数：
160
链接：http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemId=5864 思路 : 判断小于它的合法的，再看大于它的合法的，特判10000、10、1000.... 这种情况 . ...
分类：
其他好文 时间：
2019-01-20 12:04:55
阅读次数：
239
https://blog.csdn.net/Mr_Runner/article/details/83684088 问题：new出来的实例中含有@Autowired注入时，注入的Bean为null； 解决方法：不要用new的方式实例化，也采用注解的方式，在需要new的实例类上加@Component注解 ...
分类：
编程语言 时间：
2019-01-17 15:19:03
阅读次数：
277
1.hive的数据倾斜 介绍：只要在分布式一定有shuffle，避免不了出现数据倾斜，在混淆数据的过程中出现数据分布不均匀。比如：在MR编程中reducetask阶中的数据的大小不一致，即很多的数据集中到了一个reducetask中，hive的数据倾斜就是mapreduce的数据倾斜maptaskreducetask最后就是reducetask阶段的数据倾斜。 不会产生数据倾斜
分类：
其他好文 时间：
2019-01-14 21:23:35
阅读次数：
331
一、Spark概述 spark官网：spark.apache.org Spark是用的大规模数据处理的统一计算引擎，它是为大数据处理而设计的快速通用的计算引擎。spark诞生于加油大学伯克利分校AMP实验室。 mapreduce（MR）与spark的对比： 1.MR在计算中产生的结果存储在磁盘上，s ...
分类：
其他好文 时间：
2019-01-13 00:18:41
阅读次数：
204
接下来通过一个实际的案例，介绍在MR编程中的，partition、sort、combiner。??流量统计项目案例数据样本：1363157984040136028465655C-0E-8B-8B-B6-00:CMCC120.197.40.42052.flash2-http.qq.com综合门户151219382910200字段介绍：需求：1、统计每一个用户（手机号）所耗费的总上行流量、总下行流量，
分类：
其他好文 时间：
2019-01-12 19:28:25
阅读次数：
189
参考https://www.cnblogs.com/mr-wuxiansheng/p/7465988.html ...
分类：
其他好文 时间：
2019-01-11 20:06:31
阅读次数：
188
定义：ni = { } 创建字典： 1 2 3 person = {"name": "mr.wu", 'age': 18} 或 person = dict({"name": "mr.wu", 'age': 18}) 常用操作： 索引 新增 删除 键、值、键值对 循环 for i in 字典 输出的将 ...
分类：
其他好文 时间：
2019-01-06 16:31:30
阅读次数：
144
是一个并行计算框架（计算的数据源比较广泛 HDFS、RDBMS、NoSQL），Hadoop的 MR模块充分利用了HDFS中所有数据节点（datanode）所在机器的内存、CUP以及少量磁盘完成对大数据集的分布式计算。MapReduce将计算分为两个阶段： 1. 通过将一个大的计算任务分割成若干个小任 ...
分类：
其他好文 时间：
2019-01-04 21:59:10
阅读次数：
207
