集群网络配置 分别设置修改主机名 master slave1 slave2 hostnamectl set-hostname 名字 分别配置/etc/hosts文件 查看openssh和rsync安装 rpm -qa | grep 名字 切换到Hadoop用户 各节点生成秘钥 ssh-keygen ...
分类：
系统相关 时间：
2021-06-02 15:27:52
阅读次数：
0
先达到极限，然后再突破它 HA高可用 HA概述 所谓HA（High Available），即高可用（7*24小时不中断服务）。 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在 ...
分类：
其他好文 时间：
2020-07-10 17:23:12
阅读次数：
61
在使用MPI框架中，需要多机进行通信进行并行计算；现在配置多个主机进行运行mpi程序，并进行通信；涉及到ssh无密码和nfs文件系统配置； 参考文档： https://mpitutorial.com/tutorials/running-an-mpi-cluster-within-a-lan/ 配置如 ...
分类：
其他好文 时间：
2020-06-02 19:04:48
阅读次数：
154
ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对，下面我以CentOS为例。有机器A(192.168.1.155)，B(192.168.1.181)。现想A通过ssh免密码登录到B。首先以root账户登陆为例。 1.在A机下生成公钥/私钥对。 [root@ ...
分类：
系统相关 时间：
2020-05-11 12:52:14
阅读次数：
113
SSH 协议是事实上的互联网基石之一。在 SSH 协议出现之前（1995 年由 Tatu Ylonen 设计），通过互联网远程登录其他设备（telnet）的过程是明文的。这意味着，整个通信过程，很容易被旁路嗅探，泄露敏感信息。 OpenSSH 是 SSH 协议的经典实现。目前，它作为各 Linux ...
分类：
其他好文 时间：
2020-05-06 12:03:47
阅读次数：
69
介绍 ansible 是用于批量在远程主机上执行命令，连接方式使用ssh. ansible的主机角色大致分为两种：一台管理机和多台被管控机。 要想使用ansible去管理被管控机, 那么就管控机就必须能登录上被管控机，也就是ssh无密码登录。 ssh的登录方式有2种： 密码登录 秘钥登录 免密码的秘 ...
分类：
其他好文 时间：
2020-03-10 22:08:43
阅读次数：
67
1. 概述 1. 简述 linux ssh 无密码登录 2. 无能狂怒 1. 最近真是不知道写啥了 2. 环境 1. os 1. centos7 1. 场景 1. 场景 1. 主机A 需要经常访问 主机B 2. 每次访问, 都要输入一次 密码 2. 问题 1. 每次都输密码很麻烦 3. 解决思路 1 ...
分类：
系统相关 时间：
2019-12-22 00:13:46
阅读次数：
104
安装步骤： 1、新建虚拟机（网络选桥接模式、内存尽量大） 2、安装Ubuntu 18.04 3、安装JDK JRE 4、创建hadoop用户 5、配置SSH无密码登录 此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。 但这样登陆是需要每次 ...
分类：
系统相关 时间：
2019-12-08 01:32:25
阅读次数：
260
引出 初衷是自己搭建一套ceph的实验集群，按照官方的quick start,按理说应该是分分钟的事，因为GFW的原因，搞得忙活了一上午，再加上心情烦躁,中间出现了各种差错，这里记录一下。 系统预检并安装ceph-deploy 准备集群系统，网络设置，SSH无密码登录等设置略过，详细参考PREFLI ...
分类：
其他好文 时间：
2019-10-13 15:33:36
阅读次数：
86
1 scp命令 1）scp可以实现服务器与服务器之间的数据拷贝。 2）案例实操 （1）将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。 [root@hadoop101 /]# scp -r /opt/mo ...
分类：
其他好文 时间：
2019-10-09 15:39:06
阅读次数：
107
