1.准备一台Vmware虚拟机，添加hdfs用户及用户组，配置网络见 https://www.cnblogs.com/qixing/p/11396835.html 在root用户下 添加hdfs用户，并设置密码： 将hdfs用户添加到hdfs用户组中 前面一个hdfs是组名，后面一个hdfs是用户名 ...
分类：
其他好文 时间：
2019-12-29 23:50:10
阅读次数：
271
zookeeper将管理一批''动物''，如小象hadoop，小鲸鱼hbase等，先记录下安装完全分布式zookeeper，以备后用。 解压zookeeper压缩包 [root@hadoop01 /home/software]# tar -zxvf zookeeper-3.4.8.tar.gz 修改 ...
分类：
其他好文 时间：
2019-12-28 22:34:08
阅读次数：
107
准备 1、hadoop已部署（若没有可以参考：Centos7安装Hadoop2.7），集群情况如下（IP地址与之前文章有变动）： 2、官网下载安装包：spark-2.4.4-bin-hadoop2.7.tgz（推荐去清华大学或中科大的开源镜像站）。 3、spark将部署在三台都已存在的路径/myda ...
分类：
其他好文 时间：
2019-12-20 15:28:51
阅读次数：
130
Windows平台安装配置Hadoop 步骤： 1. JDK安装2. 下载hadoop2.5.2.tar.gz，自行去百度下载。 3. 下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】https://github.com/steveloug ...
与docker搭建hadoop不一样的是，本次采用Dockerfile的方式构建镜像，然后启动镜像，形成多主机多容器的方式启动Hadoop集群。 1.在各个宿主机上搭建网桥weave curl -L git.io/weave -o /usr/local/bin/weave weave launch ...
分类：
其他好文 时间：
2019-12-19 16:33:04
阅读次数：
98
准备 1、hadoop已部署（若没有可以参考：Centos7安装Hadoop2.7），集群情况如下： 2、官网下载安装包：apache-hive-2.3.6-bin.tar.gz（推荐去清华大学或中科大的开源镜像站）。 安装 hive只需要部署在主节点node1上，解压apache-hive-2.3 ...
分类：
其他好文 时间：
2019-12-12 16:34:16
阅读次数：
160
一 编译 以spark2.4 hadoop2.8.4为例 1，spark 项目根pom文件修改 pom文件新增 <profile> <id>hadoop-2.8</id> <properties> <hadoop.version>2.8.4</hadoop.version> </properties ...
分类：
其他好文 时间：
2019-12-12 13:22:10
阅读次数：
86
操作命令 scp -r module root@hadoop2:/opt/module -r递归 module本地目录 root操作的用户 hadoop2主机名 /opt/module拷贝到虚拟机的目录 [root@hadoop1 opt]# scp -r module root@hadoop2:/ ...
分类：
其他好文 时间：
2019-12-11 17:08:24
阅读次数：
67
1、下载 http://archive.apache.org/dist/spark/spark 2.4.1/spark 2.4.1 bin hadoop2.7.tgz 2、解压 3、配置环境变量SPARK_HOME vim /etc/profile 或者 vim ~/.bashrc source / ...
分类：
系统相关 时间：
2019-12-10 00:55:19
阅读次数：
79
基本介绍 1. NIO的通道类似于流, 但有些区别: 通道可以同时进行读写, 而流只能读或者只能写 通道可以实现异步读写数据 通道可以从缓冲区(Buffer)读数据, 也可以写数据到缓冲区 2. BIO中的stream是单向的, 例如 FileInputStream 对象只能进行读取数据的操作, 而 ...
分类：
其他好文 时间：
2019-12-07 14:38:36
阅读次数：
108
