MapTask工作机制 MapTask工作机制如图4-12所示。 图4-12 MapTask工作机制 （1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。 （2）Map阶段：该节点主要是将解析出的key/value交给 ...
分类：
其他好文 时间：
2020-07-19 23:10:43
阅读次数：
67
1．ReduceTask工作机制 ReduceTask工作机制，如图4-19所示。 图4-19 ReduceTask工作机制 （1）Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。 （2）Merge ...
分类：
其他好文 时间：
2020-07-19 23:09:27
阅读次数：
72
1. 环境准备 说明：本次集群搭建使用系统版本Centos 7.5 ，软件版本 V3.1.1。 1.1 配置说明 本次集群搭建共三台机器，具体说明下: 主机名 IP 说明 hadoop01 10.0.0.10 DataNode、NodeManager、NameNode hadoop02 10.0.0 ...
分类：
其他好文 时间：
2020-07-19 16:31:06
阅读次数：
63
在企业开发中，Hadoop框架自带的InputFormat类型不能满足所有应用场景，需要自定义InputFormat来解决实际问题。 自定义InputFormat步骤如下： （1）自定义一个类继承FilelnputFormat。 （2）自定义一个类继承RecordReader，实现一次读取一个完整文 ...
分类：
其他好文 时间：
2020-07-19 16:25:43
阅读次数：
67
在配置hadoop集群时，时间同步是必须要做的，否则会出现各种意想不到的问题。 hadoop102 为 ntp server，hadoop103以及hadoop104 为ntp client（即需要同步时间机器） 1.全部机器都要安装ntp以及ntpdate sudo apt-get install ...
分类：
系统相关 时间：
2020-07-18 16:09:18
阅读次数：
143
背景： 预生产环境，使用kubeadm部署的HA集群如下。 NAME STATUS ROLES AGE VERSIONsbfk1test Ready master 37d v1.15.2sbfk2test Ready master 37d v1.15.2sbfk3test Ready <none> ...
分类：
Web程序 时间：
2020-07-17 22:11:32
阅读次数：
105
谐波的具体生成方法参看论文 Harmonic and Intermodulation Analysis of Nonlinear Devices Used in Virtual Bass Systems 具体的matlab代码为 function Ha = calculate_harmonics() ...
分类：
其他好文 时间：
2020-07-17 19:25:00
阅读次数：
76
谐波的具体生成方法参看论文 Harmonic and Intermodulation Analysis of Nonlinear Devices Used in Virtual Bass Systems 具体的matlab代码为 function Ha = calculate_harmonics() ...
分类：
其他好文 时间：
2020-07-17 16:24:35
阅读次数：
80
1.完成环境准备 a.开启hadoop服务 b.开启Mysql服务进入HIVE命令行界面 c.开启zookeeper服务 d.开启hbase服务进入命令行界面 ...
分类：
其他好文 时间：
2020-07-17 11:26:18
阅读次数：
54
1 InputFormat数据输入 1.1 切片与MapTask并行度决定机制 1．问题引出 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高 ...
分类：
其他好文 时间：
2020-07-17 09:35:30
阅读次数：
65
