二 HDFS部署 主要步骤如下:1. 配置Hadoop的安装环境;2. 配置Hadoop的配置文件;3. 启动HDFS服务;4. 验证HDFS服务可用。1‘ 查看是否存在hadoop安装目录 ls /usr/cstor/hadoop 如果没有,利用工具从本地导入hadoop安装文件。 查看jdk是否 ...
分类:
其他好文 时间:
2020-12-30 11:10:24
阅读次数:
0
参考:https://forum.huawei.com/enterprise/zh/thread-435089.html 安全模式是HDFS的一种工作状态,处于安全模式下,只能给客户端提供只读视图,不接受增删改。 namenode启动时,会将映像文件(fsimage)和编辑日志(edit log)加 ...
分类:
其他好文 时间:
2020-12-21 11:55:04
阅读次数:
0
主3306my.cnf [client] port = 3306 socket = /var/lib/mysql/3306-mysql.sock [mysqld] user = hdfs port = 3306 socket = /var/lib/mysql/3306-mysql.sock data ...
分类:
数据库 时间:
2020-12-21 11:31:29
阅读次数:
0
章节: 第一章节:CentOS 7 配置hadoop(一) 安装虚拟机(伪分布) 第二章节:CentOS 7 配置hadoop(二) 配置hdfs(伪分布) 第三章节:CentOS 7 配置hadoop(三) 配置hbase(伪分布) 第四章节:CentOS 7 配置hadoop(四) 配置hive ...
分类:
其他好文 时间:
2020-12-21 11:30:46
阅读次数:
0
连接hdfs 根据hdfs的版本引用相关的hdfs依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependency> <groupId>org.apache.hadoop</group ...
Ambari2.7.4+HDP3.1.4安装Centos7离线安装标签(空格分隔):大数据平台构建一:关于HDP的介绍二:系统环境介绍三:系统环境初始化四:安装HDP3.1.4平台一:关于HDP的介绍1.1ambari的介绍Ambari是一种基于Web的工具,支持ApacheHadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、P
分类:
其他好文 时间:
2020-12-16 11:45:59
阅读次数:
4
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 ...
分类:
其他好文 时间:
2020-12-10 11:39:01
阅读次数:
12
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计1.准备电子书或其它大的文本文 ...
分类:
其他好文 时间:
2020-12-10 11:24:10
阅读次数:
6
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 ...
分类:
其他好文 时间:
2020-12-10 10:59:18
阅读次数:
4
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 ...
分类:
其他好文 时间:
2020-12-10 10:55:10
阅读次数:
3