1.MapReduce是什么 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词， 一是软件框架，二是并行处理，三是可靠 ...
分类：
其他好文 时间：
2020-01-17 13:43:04
阅读次数：
78
1.1 键值对RDD操作 Mapreduce框架是把数据转为key-value，再聚合为key-values的过程。 在Spark里key-value RDD（pair RDD）同样是最常用的，在每个应用中基本都会用到。 pair RDD如何创建？不是通过sc.parallelize 创建 通常应用 ...
分类：
其他好文 时间：
2020-01-17 13:36:54
阅读次数：
96
MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是“任务的分解与结果的汇总”。一、 MapReduce的工作原理在分布式计算中，MapReduce框架负责处理 ...
分类：
其他好文 时间：
2020-01-15 14:03:53
阅读次数：
79
一：类类型使用不一致（mapper和reduce） 20/01/13 16:03:42 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1578714121919_0001 20/01/13 16:03:42 INFO conf ...
分类：
其他好文 时间：
2020-01-13 20:22:16
阅读次数：
117
1. count：返回集合中文档的数量。 db.friend.count() db.friend.count({'age':24}) 增加查询条件会使count查询变慢。 2. distinct：找出给定键的所有不同的值。 使用时必须指定集合和键： db.runCommand({'distinct' ...
分类：
数据库 时间：
2020-01-10 10:33:11
阅读次数：
88
本课程从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术（如：HDFS、YARN、MapReduce以及Hive），并使用这些技术进行实战，最终完成电商行为日志分析项目，让你轻松入门大数据！ ...
分类：
Web程序 时间：
2020-01-10 01:08:26
阅读次数：
133
1、MapReduce跑的慢的原因 MapReduce程序效率的瓶颈主要在于两点： 1、机器性能不足（CPU、内存、磁盘健康、网络） 2、IO操作优化 数据倾斜 Map和Reduce数设置不合理 Map运行时间太长，导致Reduce等待的时间太久 小文件 大量不可切分的超大文件 spill溢写次数过 ...
分类：
其他好文 时间：
2020-01-08 00:46:53
阅读次数：
116
我们知道数据分析的第一步是准备数据，所以在前面的课程里，我们介绍了元数据。今天这篇文章，主要介绍大数据量组合数据集在永洪中的应用实例：Mapsidejoin。什么是Mapsidejoin？按照字面意思，Mapsidejoin就是M—节点—组合。在了解Mapsidejoin之前，首先我们要了解一下MapReduce模型以及产品的四个节点CNMR的作用，通过MapReduce模型中，Mapsidejo
分类：
其他好文 时间：
2020-01-08 00:23:10
阅读次数：
157
流式处理框架对比 Posted on 2017 07 05 23:36 天戈朱 阅读(9600) 评论(0) 编辑 收藏 分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce一样是一种通用计算框 ...
分类：
其他好文 时间：
2020-01-07 20:08:49
阅读次数：
183
一、概述1、 为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等;各任务单元之间存在时间先后及前后依赖关系;为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如：我们可能有这样一个... ...
分类：
其他好文 时间：
2020-01-07 10:25:31
阅读次数：
92
