目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题，实现高可用？ 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类：
其他好文 时间：
2020-03-27 10:40:50
阅读次数：
117
1、背景： 在做spark history complete和incomplete测试的时候，我们使用spark-shell启动了一个on yarn的任务，如果我们只是启动了，没有进行任何计算的话，那么我们在incomplete里面是看读的任务的，退出的时候可以在complete中可以看到，那么为什 ...
分类：
其他好文 时间：
2020-03-26 21:41:45
阅读次数：
142
#!/bin/bash #队列名 根据yarn的队列提交 realtime_queue=root #提交的任务名 my_job_name="OrderQZ" spark-shell --master yarn --deploy-mode client \ --queue $realtime_queu ...
分类：
其他好文 时间：
2020-03-26 01:02:34
阅读次数：
81
前言 yarn是什么？ 简单来说是和npm一样的包管理工具，并对npm的一些弊端提供了优化和解决方案 yarn和npm的区别？ 安装速度更快，缓存了每个下载过的包，再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率， 运行代码前会校验每个安装包的完整性和统一性，使其在不同系统上也能无差别的 ...
分类：
其他好文 时间：
2020-03-25 23:27:50
阅读次数：
82
RESTAPI通常用于Web开发中。它们是Web应用程序用来彼此“交谈”的编程接口。它们用于访问功能部件和数据。“REST”（代表性状态转移）是定义API属性的概念。本文将重点介绍如何使用基于Web的API从数据库中检索数据。Axios是一个npm软件包，允许应用程序将HTTP请求发送到WebAPI。要在您的React应用程序中使用Axios，请使用以下命令：npminstallaxios要么ya
npm和yarn使用 他们都属于js包管理工具，都可以安装包或者模块yarn 是由facebook、google等联合开发推出的 区别： npm 下载包的话 比如npm install，它是按照包的排序，也就是队列挨个下载，一个下载完成后，再下载另一个 yarn是将要下载的包进行同时下载，并行下载， ...
分类：
其他好文 时间：
2020-03-23 13:51:25
阅读次数：
77
1、在 D盘新建一个目录，用来存放 npm 或 yarn 的 cache 和 依赖包文件 我这里新建的文件夹如下： D:\node_package\npm D:\node_package\npm_cache D:\node_package\yarn D:\node_package\yarn_cach ...
分类：
其他好文 时间：
2020-03-21 14:55:45
阅读次数：
788
NPM、YARN更改淘宝镜像 查看当前计算机的下载地址 # npm命令 npm config get registry # yarn命令 yarn config get registry 修改为淘宝npm镜像 # npm命令 npm config set registry http://regist ...
分类：
其他好文 时间：
2020-03-21 14:42:44
阅读次数：
55
Sequelize.JS是node里面比较常用的一个ORM(对象映射模型)，提供了很多丰富的接口，egg-sequelize是基于其做的一个egg项目下的ORM插件 安装： npm install egg-sequelize mysql2 -S // 或者 yarn add egg-sequeliz ...
分类：
数据库 时间：
2020-03-20 13:08:04
阅读次数：
465
原文链接： https://www.toutiao.com/i6764296608705151496/ 单词统计的是统计一个文件中单词出现的次数，比如下面的数据源 其中,最终出现的次数结果应该是下面的显示 那么在MapReduce中该如何编写代码并出现最终结果？ 首先我们把文件上传到HDFS中(hd ...
分类：
编程语言 时间：
2020-03-20 00:51:35
阅读次数：
96
