HDFS的读取过程 HDFS的读取流程大致有以下几个步骤： （1）客户端通过调用FileSystem对象的open()来打开希望读取的文件。对于HDFS平台来说，这个对象是DistributedFileSystem类的是一个实例，所以实际调用的是DistributedFileSystem对象的ope ...
分类：
其他好文 时间：
2021-06-19 18:42:26
阅读次数：
0
集群网络配置 分别设置修改主机名 master slave1 slave2 hostnamectl set-hostname 名字 分别配置/etc/hosts文件 查看openssh和rsync安装 rpm -qa | grep 名字 切换到Hadoop用户 各节点生成秘钥 ssh-keygen ...
分类：
系统相关 时间：
2021-06-02 15:27:52
阅读次数：
0
2、安装3台虚拟机并实现SSH免密登录 (1）安装三台虚拟机centos7 第一台正常安装，后两台做克隆。配置好IP地址，关闭防火墙跟SELINUX。 106.14.69.185 server1 121.5.218.141 server2 （2）修改用户名以及对应的IP # vi /etc/host ...
分类：
其他好文 时间：
2021-05-24 05:35:32
阅读次数：
0
这里介绍两个常用的管理hadoop集群的脚本 hadoop集群启停脚本myhadoop.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " 启动 hadoop ...
分类：
其他好文 时间：
2021-05-04 15:28:54
阅读次数：
0
01.安装VMware，加载centos镜像软件。配置主机、VMware、Windows的IP地址。 02.hadoop中目录介绍：bin目录 hdfs 、mapred、 yarn 命令 etc目录包含hdfs 、mapred、 yarn 相关的配置文件 sbin 目录与集群相关的命令 share目 ...
分类：
其他好文 时间：
2021-04-29 11:57:44
阅读次数：
0
1.1 MapReduce定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 Ma ...
分类：
其他好文 时间：
2021-04-05 12:32:51
阅读次数：
0
Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1）查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodeps rpm -qa：查看安装的所有 rpm 软件包 grep -i ：忽略大小写 ...
分类：
系统相关 时间：
2021-03-29 12:39:22
阅读次数：
0
hadoop集群安装 安装环境服务部署规划 服务器IP node01 node02 node03 HDFS NameNode HDFS SecondaryNameNode HDFS DataNode DataNode DataNode YARN ResourceManager YARN NodeMa ...
分类：
其他好文 时间：
2021-03-09 12:59:55
阅读次数：
0
杀死进程 $HADOOP_HOME/sbin/stop-yarn.sh $HADOOP_HOME/sbin/stop-dfs.sh 删除所有节点 hadoop 根目录下的 data 和 logs rm -rf data/ logs/ 格式化 在 hadoop 根目录下执行 hdfs namenode ...
分类：
其他好文 时间：
2021-03-06 14:35:10
阅读次数：
0
一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names ...
分类：
其他好文 时间：
2021-01-19 12:16:24
阅读次数：
0
