1、关闭磁盘的noatime、nodelalloc 属性 在/etc/fstab中,添加磁盘noatime、nodelalloc 属性,如下: UUID=65a26878-c82e-4296-a134-a686248155f2 /data2 xfs defaults,noatime,nodelall ...
分类:
其他好文 时间:
2020-03-23 15:17:20
阅读次数:
59
下载路径 Hadoop所有版本:http://archive.apache.org/dist/hadoop/common/ ...
分类:
其他好文 时间:
2020-02-24 16:55:48
阅读次数:
51
在安装完hive之后(hadoop-2.10.0安装hive-2.3.6),已经迫不及待的想尝试一下hive的一些用法,我们最常用的就是直接输入hive回车,使用的是cli(Command Line Interface )模式,下面介绍一下hive的使用以及一些常用的命令 1.首先查看hive帮助, ...
分类:
其他好文 时间:
2020-02-10 00:00:22
阅读次数:
99
公司建立数仓,hive是必不可少的,hive是建立在hadoop基础上的数据库,前面已经搭建起了hadoop高可用,要学习hive,先从搭建开始,下面梳理一下hive搭建过程 1.下载hive安装包 ,下载地址:https://hive.apache.org/downloads.html 找到自己h ...
分类:
其他好文 时间:
2020-02-08 00:22:59
阅读次数:
102
1.hadoop集群的启动 cd $HADOOP_HOME //进入hadoop安装目录 sbin/start-dfs.sh //启动hdfs sbin/start-yarn.sh //启动yarn (或start-all.sh) 集群关闭: cd $HADOOP_HOME //进入hadoop安装 ...
分类:
系统相关 时间:
2020-02-07 00:58:00
阅读次数:
114
1. 下载安装 官网下载链接 1.1 这里选择安装的是2.9.2,使用下面命令进行下载: 1 # cd ~/software 2 wget http://apache.communilink.net/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz 1.2 ...
分类:
其他好文 时间:
2020-01-26 16:00:24
阅读次数:
128
下载Hadoop安装包 下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站,找到我们要安装的版本,点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase、Spark等相关组件的兼 ...
分类:
其他好文 时间:
2019-12-28 23:14:30
阅读次数:
162
切记!!!!! 没有比官网教程更详细,更靠谱的教程!!!!! 其他的基本都是官网的翻译,但是官网的教程是实时更新的,要是不注意版本,坑根本就踩不完!!! 附上官网部署教程: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoo ...
分类:
其他好文 时间:
2019-12-16 13:28:29
阅读次数:
97
安装步骤: 1、新建虚拟机(网络选桥接模式、内存尽量大) 2、安装Ubuntu 18.04 3、安装JDK JRE 4、创建hadoop用户 5、配置SSH无密码登录 此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了。 但这样登陆是需要每次 ...
分类:
系统相关 时间:
2019-12-08 01:32:25
阅读次数:
260
0.安装前准备 0.1 关闭防火墙 1 service iptables status 2 service iptables stop 0.2 关闭Selinux 很多稀奇古怪的问题都是SELINUX导致的。 1.创建用户 1 useradd hadoop -d /home/hadoopecho 2 ...
分类:
Web程序 时间:
2019-12-01 12:03:25
阅读次数:
88