一. Hadoop Yarn 是什么 在古老的 Hadoop1.0 中，MapReduce 的 JobTracker 负责了太多的工作，包括资源调度，管理众多的 TaskTracker 等工作。这自然是不合理的，于是 Hadoop 在 1.0 到 2.0 的升级过程中，便将 JobTracker 的 ...
分类：
其他好文 时间：
2019-01-08 17:50:56
阅读次数：
134
一. Hadoop Yarn 是什么 在古老的 Hadoop1.0 中，MapReduce 的 JobTracker 负责了太多的工作，包括资源调度，管理众多的 TaskTracker 等工作。这自然是不合理的，于是 Hadoop 在 1.0 到 2.0 的升级过程中，便将 JobTracker 的 ...
分类：
其他好文 时间：
2019-01-06 20:44:40
阅读次数：
190
一、yarn简介 yarn是在hadoop2.x中才引入的一个新的机制，在hadoop1.x中MapReduce任务需要同时做任务管理和资源分配，那么引入yarn之后，hadoop的资源管理的任务就全部交给yarn来处理，从而实现存储、任务、资源的分离。 二、yarn的主要角色 1.Resource ...
分类：
其他好文 时间：
2019-01-01 21:44:24
阅读次数：
240
1.关闭防火墙 1.1 查看防火墙状态 service iptables status 1.2 关闭防火墙 service iptables off 1.3 关闭防火墙开机启动 chkconfig iptables off 2.关闭selinux vi /etc/selinux/config 将 S ...
分类：
其他好文 时间：
2018-12-12 00:20:48
阅读次数：
174
第一步:数据源 手写程序实现自动生成如下格式的日志文件: 15837312345,13737312345,2017-01-09 08:09:10,0360 打包放到服务器,使用如下命令执行,模拟持续不断的日志文件: java -cp ct_producter-1.0-SNAPSHOT.jar pro ...
分类：
Web程序 时间：
2018-11-30 17:34:50
阅读次数：
230
1.在主程序中需要添加这几个参数配置 2.需要配置window中的hosts 文件（识别yarn程序配置的主机ip：我在yarn程序中配置的是hadoop1） 修改打 C盘 -> Windows -> System32 -> drives -> etc -> hosts文件 在最下面 增加一行 10 ...
所有命令或步骤： 首先，在各个节点上安装nfs服务 yum install -y nfs service rpcbind start service nfs start 编辑/etc/exports文件，添加下面一行 /mnt/share hadoop1(rw,no_root_squash,asyn ...
分类：
其他好文 时间：
2018-10-18 20:18:26
阅读次数：
604
一、简要描述如何安装配置一个开源hadoop，只描述即可，列出完整步骤。 答：①创建一个用户和用户组，用来管理hadoop项目； ②修改确定IP地址：vim /etc/sysconfig/network-scripts/ifcfg-eth0； ③修改主机名：vim /etc/sysconfig/ne ...
分类：
其他好文 时间：
2018-10-18 13:58:37
阅读次数：
156
主要步骤跟Hadoop1.0( "1.0安装地址" )一致，主要在配置这块有更改 安装 下载地址：http://archive.apache.org/dist/hadoop/core/hadoop 2.6.5/ hadoop安装目录创建./tmp目录，./dfs/name，./dfs/data 修改 ...
分类：
其他好文 时间：
2018-09-24 18:28:49
阅读次数：
170
使用 expr命令 （其中做乘的时候*号要用斜杠进行转义） 除以 [hadoop-user@hadoop1]$ echo `expr 9 / 3` 3加 [hadoop-user@hadoop1]$ echo `expr 9 + 3` 12 减 [hadoop-user@hadoop1]$ echo ...
分类：
系统相关 时间：
2018-09-15 20:07:57
阅读次数：
869
