Docker Hadoop 配置常见错误及解决办法 问题1：wordcount运行卡住，hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_.... 解决如下： 1. 修改mapred-site.xml配置，配置文件在Ha ...
分类：
其他好文 时间：
2021-04-20 14:54:20
阅读次数：
0
AutoK3s是一款K3s集群自动化部署工具，可以方便开发者自助管理云环境中的K3s集群，可支持AWS/Aliyun/TencentCloud等主流公有云，随用随部署，用完即释放，对于在平时工作过程中需要各种K8s环境的开发测试人员，可以从很大程度上节省重复部署环境的时间，提升工作效率。 新发布的 ...
分类：
其他好文 时间：
2021-04-14 12:12:47
阅读次数：
0
部署环境：CentOS 7 1、Heartbeat介绍 Heartbeat是Linux-HA项目中的一个组件，它实现了一个高可用集群系统。心跳检测和集群通信是高可用的两个关键组件，在Heartbeat项目中，由heartbeat模块实现了这两个功能。Heartbeat是目前开源HA项目中十分成功的例 ...
分类：
其他好文 时间：
2021-04-09 12:52:08
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
命令创建项目:create-react-app hello-model-router 安装router:yarn add react-app-router-dom 按照例子来理解: 3.1. React router介绍 路由: path什么路径,component跳转到那个组件上. import ...
分类：
其他好文 时间：
2021-04-02 13:10:28
阅读次数：
0
vite的启动是以来yarn的。可能大家要暂时离开一下之前习惯的npm那一套了，不过不用担心，这两兄弟的常用代码都差不多。上手起来很容易 安装yarn npm i -g yarn 安装一下yarn 我的习惯是设置一下registry 设置成国内镜像 这是个人喜好 看个人选择。 yarn config ...
分类：
其他好文 时间：
2021-03-30 12:50:48
阅读次数：
0
1. 集群和分布式: 集群（cluster）：即同一个业务系统，部署在堕胎服务器上，集群中，每台服务器实现的功能没有差别，数据和代码都是一样的 集群主要分为三种类型： LB（load balancing）：负载均衡，多台主机组成，每个主机只承担一部分请求 HA（high availablity）：高 ...
分类：
系统相关 时间：
2021-03-18 14:41:04
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-03-16 13:21:18
阅读次数：
0
1. 为什么要引入Yarn和Spark。 从开源角度看，YARN的提出，从一定程度上弱化了多计算框架的优劣之争。YARN是在Hadoop MapReduce基础上演化而来的，在MapReduce时代，很多人批评MapReduce不适合迭代计算和流失计算，于是出现了Spark和Storm等计算框架，而 ...
分类：
其他好文 时间：
2021-03-15 11:29:44
阅读次数：
0
