1，-mkdir 创建目录 Usage：hdfs dfs -mkdir [-p] < paths> 选项：-p 很像Unix mkdir -p，沿路径创建父目录。 2，-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 Usage：hdfs dfs -ls [-R] < args> 选 ...
分类：
其他好文 时间：
2020-08-05 18:13:32
阅读次数：
89
浅析HDFS分布式存储有哪些优势特点近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。那么分布式存储的种类有哪些呢？分布式存储包含的种类繁多，除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外，还包括分布式数据库和分布式缓存等，但其中架构无外乎于三种：A、中
分类：
其他好文 时间：
2020-08-05 00:01:18
阅读次数：
97
Hbase在hdfs上的存储位置，根目录是由配置项hbase.rootdir决定，默认就是"/hbase" 其中hbase master 的webui 由参数hbase.master.info.port决定，一般配置为 60010 [dip@g3-test-36 ~]$ hadoop fs -ls ...
分类：
其他好文 时间：
2020-07-30 19:45:37
阅读次数：
104
参考链接： https://community.cloudera.com/t5/Support-Questions/HDP-3-0-with-local-repository-failing-to-deploy/td-p/240954 https://community.cloudera.com/t ...
分类：
Web程序 时间：
2020-07-30 18:12:28
阅读次数：
82
一、HDFS-HA集群配置 1.环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK，配置环境变量等 2.规划集群 hadoop102 hadoop103 hadoop104 NameNode NameNode JournalN ...
分类：
其他好文 时间：
2020-07-28 22:19:09
阅读次数：
77
原文：https://www.cloudera.com/tutorials/manage-files-on-hdfs-via-cli-ambari-files-view/2.html Introduction In the previous tutorial, we learned to manag ...
分类：
其他好文 时间：
2020-07-27 13:45:42
阅读次数：
88
Hadoop和HDFS内容：1.什么是HDFS文件系统？ HDFS是大数据开源框架hadoop的组件之一，全称（Hadoop Distributed File System），它是一个分布式文件系统，由多台服务器联合起来实现文件存储功能，通过目录树来定位文件，集群中的服务器都有有各自的角色. 2.h ...
分类：
其他好文 时间：
2020-07-26 23:17:20
阅读次数：
88
1.1.HDFS. 它是一个分布式文件管理系统，用来存储文件，通过目录树来定位文件；由多个服务器联合起来实现功能，集群中的服务器有各自的角色。 适用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据的分析，并不适合用来做网盘应用。 1.1.1NameNode：就是master，它 ...
分类：
其他好文 时间：
2020-07-26 23:15:19
阅读次数：
102
8.3 HDFS-HA集群配置 8.3.1 环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK，配置环境变量等 8.3.2 规划集群 表3-1 hadoop102 hadoop103 hadoop104 NameNode Na ...
分类：
其他好文 时间：
2020-07-26 23:10:23
阅读次数：
85
HDFS概述 HDFS产出背景及定义 HDFS优缺点 HDFS组成架构 HDFS文件块大小（面试重点） MapReduce概述 MapReduce定义 MapReduce优缺点 优点 缺点 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发 ...
分类：
其他好文 时间：
2020-07-26 23:01:30
阅读次数：
83
