数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
1.x MapReduce：计算+调度 HDFS：数据存储 Common：辅助工具 2.x MapReduce：计算 Yarn：资源调度 HDFS：数据存储 Common：辅助工具 ...
分类：
其他好文 时间：
2020-06-21 23:45:14
阅读次数：
83
主机1：ResourceManager 处理客户端请求 监控NodeManager 启动或监控ApplicationMaster（干的活儿，单个任务） 资源的分配与调度 主机2：NodeManager 管理单个节点上的资源 处理ResourceManager的命令 处理ApplicationMase ...
分类：
其他好文 时间：
2020-06-21 22:52:28
阅读次数：
43
原文地址：https://blog.csdn.net/yw00yw/article/details/81354533 yarn的简介： Yarn是facebook发布的一款取代npm的包管理工具。 yarn的特点： 速度超快。 Yarn 缓存了每个下载过的包，所以再次使用时无需重复下载。 同时利用并 ...
分类：
其他好文 时间：
2020-06-21 19:38:15
阅读次数：
54
我们经常使用 npm i xxx -S or yarn add xxx 甚至于使用脚手架会出现以下问题： 备注：以下是我使用umi脚手架创建AntD项目时出现的错误 如果你从npm拉下来的依赖是编译完成的文件，那么可以正常运行。但很多NodeJS Npm依赖是跨平台的，也就是说要不你去下载相关依赖在 ...
分类：
其他好文 时间：
2020-06-21 12:10:33
阅读次数：
85
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
在执行 yarn start时遇到问题， 最后一行提示 Run `npm rebuild node-sass` to download the binding for your current environment. 于是按提示操作 输入命令 npm rebuild node-sass 的时候有时 ...
分类：
编程语言 时间：
2020-06-20 11:06:29
阅读次数：
118
###前期准备 1、npm install vod-js-sdk-v6 或 yarn add vod-js-sdk-v6 2、在main.js中 import TcVod from 'vod-js-sdk-v6' Vue.prototype.$TcVod = TcVod ##注： 1、获取腾讯云上传 ...
分类：
Web程序 时间：
2020-06-19 13:45:53
阅读次数：
88
在 vue 项目中，通过highlight.js，如何实现页面中代码高亮？ 一、安装highlight.js npm install highlight.js --save 或 yarn add highlight.js 二、封装成vue插件 新建highlight.js文件 /** * 自定义代码 ...
分类：
Web程序 时间：
2020-06-19 12:18:39
阅读次数：
174
https://blog.csdn.net/u012102306/article/details/51637366 /bin/spark-submit \ --master yarn-cluster \ --num-executors 100 \ --executor-memory 6G \ --e ...
分类：
其他好文 时间：
2020-06-19 12:03:23
阅读次数：
58
