1.安装hadoop的hdfs伪分布式部署2.hadoop fs常规命令3.配置文件在官方哪里找 4.整理 jdk、ssh、hosts文件 1.安装hadoop的hdfs伪分布式部署 1.1 创建用户和目录 [root@aliyun ~]# useradd hadoop [root@aliyun ~ ...
分类：
其他好文 时间：
2019-11-28 13:20:10
阅读次数：
89
内容 由于前两节的内容我们知道，开启了preferIpAddress后，Eureka的伪分布式部署会提示replica不可用。这一节我们讲解如何在生产环境下部署完全分布式的Eureka集群，确保开启了preferIpAddress后replica的可用性。 版本 IDE：IDEA 2017.2.2 ...
分类：
编程语言 时间：
2018-11-11 12:15:33
阅读次数：
292
上一节讲到伪分布式部署，启动后需要输入4次密码，停止服务后也要输入4次密码。本节记录免密登陆原理和实践 假设有2台服务器（A和B）（这是配置原理） 1）A需要远程登录B服务器，那么A就要创建密钥对（私钥和公钥） 2）A将公钥传输到B服务器 当A登陆到B时（这是免密登陆原理） 1）B会创建随机字符串， ...
分类：
系统相关 时间：
2018-10-13 15:44:24
阅读次数：
234
1、软件环境 RHEL6 角色 jdk-8u45hadoop-2.8.1.tar.gz ? sshxx.xx.xx.xx ip地址 NN hadoop1xx.xx.xx.xx ip地址 DN hadoop2xx.xx.xx.xx ip地址 DN hadoop3xx.xx.xx.xx ip地址 DN hadoop4xx.xx.xx.xx ip地址 DN hadoop5本次涉及伪分布式部署只是要主
分类：
其他好文 时间：
2018-05-17 15:24:11
阅读次数：
154
1.hadoop的广义和狭义的理解狭义:Hadoop软件(HDFS、MapReduce、Yarn)广义:以hadoop为主的生态圈2.hadoop三大组件是什么?分别是做什么?HDFS:分布式文件管理系统存储MapReduce:执行引擎计算Yarn:资源(memorycpu)和作业调度平台资源3.hdfs伪分布式部署时我们需要配置当前用户对当前机器的无密码信任关系，那么你们会配置吗?root和其他
分类：
其他好文 时间：
2018-05-17 15:18:24
阅读次数：
185
1、软件环境 RHEL6 角色 jdk-8u45hadoop-2.8.1.tar.gz ? sshxx.xx.xx.xx ip地址 NN hadoop1xx.xx.xx.xx ip地址 DN hadoop2xx.xx.xx.xx ip地址 DN hadoop3xx.xx.xx.xx ip地址 DN hadoop4xx.xx.xx.xx ip地址 DN hadoop5本次涉及伪分布式部署只是要主机h
分类：
其他好文 时间：
2018-05-17 13:44:05
阅读次数：
278
环境要求：java、ssh1.上传并解压tar包[root@hadoop000software]#rz#上传hadoop-2.8.1.tar.gz[root@hadoop000software]#tar-xzvfhadoop-2.8.1.tar.gz2.配置环境变量[root@hadoop000software]#vi/etc/profileexportHADOOP_HOME=/opt/softw
分类：
其他好文 时间：
2018-05-17 11:56:45
阅读次数：
154
1、软件环境 RHEL6 jdk-8u45hadoop-2.8.1.tar.gz sshxx.xx.xx.xx ip地址 hadoop1xx.xx.xx.xx ip地址 hadoop2xx.xx.xx.xx ip地址 hadoop3xx.xx.xx.xx ip地址 hadoop4xx.xx.xx.xx ip地址 hadoop5本次部署只涉及伪分布式部署只是要主机hadoop1 ? 2.伪分布式
分类：
其他好文 时间：
2018-05-16 10:55:21
阅读次数：
129
1、软件环境RHEL6jdk-8u45hadoop-2.8.1.tar.gzsshxx.xx.xx.xxip地址hadoop1xx.xx.xx.xxip地址hadoop2xx.xx.xx.xxip地址hadoop3xx.xx.xx.xxip地址hadoop4xx.xx.xx.xxip地址hadoop5本次部署只涉及伪分布式部署只是要主机hadoop12.伪分布式部署伪分布式部署文档参考官方网站ha
分类：
其他好文 时间：
2018-05-15 18:30:51
阅读次数：
145
------------------------------软件版本-------------------------------------- RHEL6.8 hadoop2.8.1 apache-maven-3.3.9? ? ?findbugs-1.3.9 protobuf-2.5.0.tar.gz jdk-8u45 ------------------------------软件版本--
分类：
其他好文 时间：
2018-05-15 17:34:10
阅读次数：
161
