机制 发现运行速度远慢于平均速度的任务，启动一个备份任务同时运行，采用先运行完的结果 前提 每个Task只能有一个备份任务 当前Job已完成的Task不少于5% 开启推测执行参数，默认打开 原理 estimatedRunTime=(currentTimestamp-taskStartTime)/pr ...
分类：
编程语言 时间：
2021-03-11 13:09:23
阅读次数：
0
Java的序列化框架Serializable， 对象被序列化后会附带额外信息， 不便于在网络中传输 自定义bean对象 实现Writable接口 必须有空参构造， 反序列化时， 需要反射调用空参构造函数 重写序列化和反序列化方法， 顺序要完全一致 若自定义bean要作为key， 需实现Compara ...
分类：
其他好文 时间：
2021-03-11 11:44:25
阅读次数：
0
介绍 分而治之是一个有效的处理大数据的方法，著名的MapReduce就是采用这种分而治之的思路。简单的说，如果要处理1000个数据，但是我们不具备处理1000个数据的能力，只可以处理10个数据。我们可以将这个任务分成100份，每份处理10个，并将最后的结果进行合成，形成1000个数据的处理结果。 把 ...
分类：
编程语言 时间：
2021-03-10 13:02:18
阅读次数：
0
1.安装next脚手架https://create-next-app.js.org/2.控制台运行 npx create-next-app yarn与npm命令无法创建，原因未知 3.安装配置依赖 npm install next react react-dom # or yarn add next ...
分类：
Web程序 时间：
2021-03-09 13:17:42
阅读次数：
0
hadoop集群安装 安装环境服务部署规划 服务器IP node01 node02 node03 HDFS NameNode HDFS SecondaryNameNode HDFS DataNode DataNode DataNode YARN ResourceManager YARN NodeMa ...
分类：
其他好文 时间：
2021-03-09 12:59:55
阅读次数：
0
本文摘抄自:https://blog.csdn.net/lvanboy/article/details/88200433 ...
分类：
其他好文 时间：
2021-03-08 13:06:45
阅读次数：
0
hadoop大数据集群搭建过程中，需要使用到zookeeper进行主从管理和控制，那我们就安装一套集群环境 1、下载zookeeper 登录zookeeper.apache.org官网，找到Getting Started下边的Download。 进去之后我们选择一个版本，比如选择3.6.2，进去后选 ...
分类：
其他好文 时间：
2021-03-06 14:45:39
阅读次数：
0
配置文件 mapred-site.xml 加入以下代码 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!-- 历史服 ...
分类：
其他好文 时间：
2021-03-06 14:37:58
阅读次数：
0
杀死进程 $HADOOP_HOME/sbin/stop-yarn.sh $HADOOP_HOME/sbin/stop-dfs.sh 删除所有节点 hadoop 根目录下的 data 和 logs rm -rf data/ logs/ 格式化 在 hadoop 根目录下执行 hdfs namenode ...
分类：
其他好文 时间：
2021-03-06 14:35:10
阅读次数：
0
参考：https://blog.csdn.net/vbirdbest/article/details/88189753 安装步骤 1. 修改主机名 sudo scutil --set HostName localhost 2. ssh免密登录 具体配置方法： （1）ssh-keygen -t rsa ...
分类：
系统相关 时间：
2021-03-06 14:17:50
阅读次数：
0
