集群网络配置 分别设置修改主机名 master slave1 slave2 hostnamectl set-hostname 名字 分别配置/etc/hosts文件 查看openssh和rsync安装 rpm -qa | grep 名字 切换到Hadoop用户 各节点生成秘钥 ssh-keygen ...
分类：
系统相关 时间：
2021-06-02 15:27:52
阅读次数：
0
本文转自:https://www.cnblogs.com/chhyan-dream/p/12013463.html 1、概述 为了更好地理解调度，我们先看一下集群模式的Spark程序运行架构图，如上所示： 2、Spark中的基本概念 1、Application：表示你的程序 2、Driver：表示m ...
分类：
其他好文 时间：
2021-06-02 15:22:12
阅读次数：
0
--link 思考一个场景，我们编写了一个微服务器， database url=ip; 项目不重启，数据库ip换掉了，我们希望可以处理这个问题，可以名字来进行访问容器？ [root@kuangshen /]# docker exec -it tomcat02 ping tomcat01 ping: ...
分类：
编程语言 时间：
2021-06-02 14:52:05
阅读次数：
0
1. kubeconfig配置文件 kubectl使用kubeconfig认证文件连接K8s集群，使用kubectl config指令生成kubeconfig文件。 2. kubectl管理命令概要 官方文档参考地址：https://kubernetes.io/zh/docs/reference/k ...
分类：
其他好文 时间：
2021-06-02 14:42:54
阅读次数：
0
1. namespace命名空间 命名空间（Namespace）：kubernetes蒋资源对象逻辑上隔离，从而形成多个虚拟集群 应用场景： 根据不同团队划分命名空间 根据项目划分命名空间 kubectl_get namespace default：默认命名空间 kube-system：k8s系统方 ...
分类：
其他好文 时间：
2021-06-02 14:39:41
阅读次数：
0
Flink可靠性的基石-checkpoint机制详细解析 Checkpoint介绍 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致性。Flink的ch ...
分类：
其他好文 时间：
2021-06-02 14:37:17
阅读次数：
0
hadoop 1.0 1. 创建用户hadoop 2. 下载： curl -o hadoop-1.2.1-bin.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 3. ...
分类：
其他好文 时间：
2021-06-02 14:05:53
阅读次数：
0
一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它 ...
分类：
其他好文 时间：
2021-06-02 13:17:23
阅读次数：
0
我们可以设置集群的平衡参数来暂时禁用掉平衡，具体步骤如下： 1.如果可能的话，先暂停掉数据新增和更新操作，这样会提高集群恢复的时间； 2.禁用集群分片平衡操作，直到告诉集群可以恢复平衡操作为止，禁用配置方式： PUT /_cluster/settings { "transient" : { "clu ...
分类：
其他好文 时间：
2021-06-02 12:58:20
阅读次数：
0
目标 安全 稳定 廉价 快速 容灾 扩展 服务器 基础数据 腾讯云 2核 8GB 5Mbps 安全组配置 开放80、443，允许全部ip访问 开放22、6443，开放当前ip访问 环境 # 卸载firewalld，由安全组统一管理端口 sudo dnf remove firewalld # 关闭交换 ...
分类：
其他好文 时间：
2021-06-02 12:19:37
阅读次数：
0
