Hadoop Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。 YAR ...
分类：
其他好文 时间：
2020-01-03 23:16:37
阅读次数：
82
本文详细的介绍了Hadoop的Yarn架构与原理分析
分类：
其他好文 时间：
2020-01-03 19:39:26
阅读次数：
84
Yarn和npm命令对比 | npm | yarn | | | | | npm install | yarn| | npm install react save | yarn add react| | npm uninstall react save | yarn remove react| | n ...
分类：
其他好文 时间：
2020-01-03 12:13:12
阅读次数：
98
一、 hive流程 hive与hdfs 和 yarn、mr 交互 动态 First : hive从 hdfs中拉取数据 （ .txt文件） Second : hive 与 SQL 交互。。。即 获取 模板信息 ※ ： 模板信息 三个映射 A 表 与 文件 B 字段 与 文件内容 C 分割符 deli ...
分类：
其他好文 时间：
2020-01-02 22:21:16
阅读次数：
76
简介 YARN 提供请求和使用hadoop集群资源的API 向上隐藏细节 提供更高层的API 4.1 YARN应用运行机制 资源请求 应用生命周期 构建yarn应用 4.2 YARN与MapReduce 1相比 (MapReduce特指hadoop1 的版本, 2/3依次对应) 4.3 YARN中的 ...
分类：
其他好文 时间：
2020-01-02 20:42:12
阅读次数：
81
以前有写过一个使用speedscope 的简单说明，以下是一个使用另外一个工具进行火焰图分析的简单说明 环境准备 项目结构 ├── app.js ├── package.json └── yarn.lock ├── app.js ├── package.json └── yarn.lock ├── ...
分类：
Web程序 时间：
2020-01-01 14:59:19
阅读次数：
170
前提： 用jenkins构建时，发现一直出错；于是换了另外一台虚拟机去操作，因为换的虚拟机没有yarn，所以需手动安装 步骤： 1 yum install -y npm bzip2 ## 升级node到最新版 npm install -g n n latest 2 安装yarn curl --sil ...
分类：
其他好文 时间：
2019-12-31 12:21:34
阅读次数：
350
一、基础环境 1.虚拟机 VMware 15.0 2.CentOS 6.5 Linux 系统 二、MapReduce的原理分析 三、Yarn集群搭建 1.准备好三台虚拟机（这里我直接拷贝了Ha集群中一个作为主机，其余克隆） 2.修改基础配置： 1.删除每一台机器的Mac地址（CentOS 7 以上不 ...
分类：
其他好文 时间：
2019-12-30 23:15:14
阅读次数：
116
