MapReduce详细工作流程之Map阶段 如上图所示 首先有一个200M的待处理文件 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 提交：提交可以提交到本地工作环境或者Yarn工作环境，本地只需要提交切片信息和xml配置文件，Yarn环境还需要提交jar包；本地 ...
分类：
其他好文 时间：
2020-12-22 12:23:51
阅读次数：
0
1、提交任务 //提交任务直到返回结果job.waitForCompletion(true); 2、点击waitForCompletion方法到Job.java类 3、跟进到submit方法，调用方法： return submitter.submitJobInternal(Job.this, clu ...
分类：
其他好文 时间：
2020-12-21 11:24:14
阅读次数：
0
Ambari2.7.4+HDP3.1.4安装Centos7离线安装标签（空格分隔）：大数据平台构建一：关于HDP的介绍二：系统环境介绍三：系统环境初始化四：安装HDP3.1.4平台一：关于HDP的介绍1.1ambari的介绍Ambari是一种基于Web的工具，支持ApacheHadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、P
分类：
其他好文 时间：
2020-12-16 11:45:59
阅读次数：
4
什么是模型化编程？模型化编程是我在前几天的一篇文章《非著名架构师告诉你，代码该如何写，才能自己写的容易别人看的也不痛苦》中提出的，意思是在写代码前，先为代码找到一个与之非常相近的模型，然后在大脑里把这个模型想清楚并构建好。这样写代码时就按照这个模型来写，保证写出来的代码是正确的，而且整体看起来也非常清晰，绝对不会有“东一枪，西一炮”这样凌乱的感觉。当我们向别人介绍时，就把这个模型描绘出来，只要对方
分类：
其他好文 时间：
2020-12-15 11:38:53
阅读次数：
3
6 Java内存模型基础知识 6.1 并发编程模型的两个关键问题 线程间如何通信？即：线程之间以何种机制来交换信息 线程间如何同步？即：线程以何种机制来控制不同线程间操作发生的相对顺序 有两种并发模型可以解决这两个问题： 消息传递并发模型 共享内存并发模型 这两种模型之间的区别如下表所示： imag ...
分类：
编程语言 时间：
2020-12-09 12:05:39
阅读次数：
7
本文主要介绍Java中两种常见的动态代理方式：JDK原生动态代理和CGLIB动态代理。 什么是代理模式 就是为其他对象提供一种代理以控制对这个对象的访问。代理可以在不改动目标对象的基础上，增加其他额外的功能（扩展功能）。 代理模式角色分为 3 种： Subject（抽象主题角色）：定义代理类和真实主 ...
分类：
编程语言 时间：
2020-12-08 12:33:13
阅读次数：
8
什么是Hive？ Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将SQL转化成MapReduce程序。 1、Hive 处理的数据存储在HDFS； 2、Hiv ...
分类：
其他好文 时间：
2020-12-03 11:43:46
阅读次数：
3
MapReduce既是一个编程模型，也是一个计算组件，处理的过程分为两个阶段，Map阶段：负责把任务分解为多个小任务，Reduce负责把多个小任务的处理结果进行汇总。其中Map阶段主要输入是一对Key-Value，经过map计算后输出一对Key-Value值；然后将相同Key合并，形成Key-Value集合；再将这个Key-Value集合转入Reduce阶段，经过计算输出最终Key-Value结果集。
分类：
其他好文 时间：
2020-11-26 14:53:23
阅读次数：
6
01 我们一起学大数据 今天老刘分享的是MapReduce知识点的第二部分，在第一部分中基本把MapReduce的工作流程讲述清楚了，现在就是对MapReduce零零散散的知识点进行总结，这次的内容大纲如下图： 02 需要谨记的知识点 第6点：自定义分区 在上篇文章里的第五点提到过这句话：分区用到了 ...
分类：
其他好文 时间：
2020-11-25 12:39:39
阅读次数：
6
认识Hive 从MapReduce到SQL Hive架构 三种安装方式 Hive与关系型数据库的区别 1. 认识Hive 前面我们讲到了mapreduce计算框架，各位需要通过java编码的形式来实现设计运算过程，Hive的设计目的就是为了让精通sql技能而java较弱的分析师能够利用hadoop进 ...
分类：
其他好文 时间：
2020-11-21 12:33:40
阅读次数：
7
