认识Hive 从MapReduce到SQL Hive架构 三种安装方式 Hive与关系型数据库的区别 1. 认识Hive 前面我们讲到了mapreduce计算框架，各位需要通过java编码的形式来实现设计运算过程，Hive的设计目的就是为了让精通sql技能而java较弱的分析师能够利用hadoop进 ...
分类：
其他好文 时间：
2020-11-21 12:33:40
阅读次数：
7
原理流程分析 Map端： 文件存储在HDFS中，每个文件切分成多个一定大小（默认128M）的Block（默认3个备份）存储在多个数据节点上，数据格定义以"\n"分割每条记录，以空格区分一个目标单词。 每读取一条记录，调用一次map函数，然后继续读取下一条记录直到split尾部。 map 输出的结果暂 ...
分类：
其他好文 时间：
2020-01-28 16:02:42
阅读次数：
109
1、flink实现计数器的灵感来源于Hadoop的MapReduce计算框架里的理念。 flink通过实现Accumulator接口实现并行计数。并行管理是由flink实现的。 计数的结果通过JobExecutionResul的getAccumulatorResult方法t获取。 2、示例，在正常业 ...
分类：
其他好文 时间：
2019-07-21 13:33:08
阅读次数：
83
一、为什么叫MapReduce? Map是以一条记录为单位映射 Reduce是分组计算 ...
分类：
其他好文 时间：
2019-07-09 13:59:03
阅读次数：
111
需要解决的： 如何为每个数据块分配一个Map计算任务，也就是代码是如何发送到数据块所在的服务器上面的，发送后如何启动的，启动之后如何知道自己需要计算的数据在文件什么位置（BlockID是什么）。 处于不同服务器的map输出的<key,value>,如何把相同的key聚合在一起发送给Reduce任务处 ...
分类：
其他好文 时间：
2019-04-02 21:02:25
阅读次数：
201
2019/2/19星期二MapReduce计算框架高级特性程序运行并发度所谓的并发度，就是在MapReduce执行程序的过程中有多少个maptask进程和reducetask进程，来一起完成程序的处理。MapReduce就是把业务处理逻辑变成分布式来处理。reducetask数量的决定机制//全局的聚合操作由业务场景决定1、业务逻辑需要2、数据量大小设置方法：job.setNumReduceTas
分类：
其他好文 时间：
2019-02-19 15:14:40
阅读次数：
198
2019/2/18星期一MapReduce计算框架Mapreduce是一个分布式的运算编程框架，核心功能是将用户编写的核心逻辑代码分布式地运行在一个集群的很多服务器上；为什么要MAPREDUCE（1）海量数据在单机上处理因为硬件资源限制，无法胜任，因为需要采用分布式集群的方式来处理。（2）而一旦将单机版程序扩展到集群来分布式运行，将极大地增加程序的复杂度和开发难度（3）引入mapreduce框架后
分类：
其他好文 时间：
2019-02-18 18:54:04
阅读次数：
174
1.hive的介绍 什么是hive：Hive是基于hadoop的一个数据仓库工具，实质就是一款基于hdfs的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理。 hive的工作方式：把存放在hive中的数据都抽象成一张二维表格，提供了一个类似于sql语句的操作方式，这些sql语句最终被hive的底层翻译成为MapReduce程序，最终在h
分类：
其他好文 时间：
2019-01-13 21:40:37
阅读次数：
208
一背景Spark是2010年由UCBerkeleyAMPLab开源的一款基于内存的分布式计算框架，2013年被Apache基金会接管，是当前大数据领域最为活跃的开源项目之一Spark在MapReduce计算框架的基础上，支持计算对象数据可以直接缓存到内存中，大大提高了整体计算效率。特别适合于数据挖掘与机器学习等需要反复迭代计算的场景。二特性高效：Spark提供Cache机制，支持需要反复迭代的计算
分类：
其他好文 时间：
2018-11-15 12:03:46
阅读次数：
205
Hadoop是一个用于部署计算密集型分布式系统的框架，最早是根据谷歌公司发表的MapReduce计算框架和GFS谷歌文件系统完成的。谷歌内部的系统跟hadoop不是同一个系统。 由于谷歌的贡献，工业界模仿开发了一些分布式应用，如HBase对应NoSQL列数据库，类似谷歌公司BigTable。Apac ...
分类：
其他好文 时间：
2018-01-07 20:14:21
阅读次数：
204
