1、创建helloword.txt输入3行内容。 2、在系统中打开hadoop start-dfs.sh start-yarn.sh 3、把本地计算机中的计算机中的helloword.txt上传到服务器中 4、创建目录/user/root/filetest hdfs dfs -mkdir p /us ...
分类：
Web程序 时间：
2020-04-14 22:59:30
阅读次数：
100
HDFS：Hadoop Distributes File System HDFS 1.0 Namenode namenode又称名称节点，是负责管理分布式文件系统的命名空间（Namespace）,保存了两个核心的数据结构，即Fslmage和Editlog.你可以把它理解为大管家，它不负责存储具体的数 ...
分类：
其他好文 时间：
2020-04-13 00:21:47
阅读次数：
241
Eclipse连接不上虚拟机上的hdfs，一直显示Listing folder content，如下图所示： 要做到以下三点： 1. 本身就还没创建输入和输出目录，此时要在hdfs上建个文件夹 。 #bin/hdfs dfs -mkdir –p /user/hadoop/input #bin/hdf ...
hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。hadoop fs -ls 显示当前目录结构，-ls -R 递归显示目录结构hadoop fs -mkdir 创建目录hadoop fs -rm 删除文件，-rm -R ...
分类：
其他好文 时间：
2020-04-10 00:20:12
阅读次数：
66
1。hadoop生态系统 2.Hadoop分布式文件系统 2.1 HDFS的设计 2.2 HDFS的概念 数据块 namenode和datanode HDFS的高可用性 2.3命令行接口 2.4hadoop文件系统 2.5通过Flume和sqoop导入数据 ...
分类：
其他好文 时间：
2020-04-09 15:30:24
阅读次数：
92
1.创建maven工程并导入jar包 jdk使用1.8、maven3.x版本 pom.xml添加一下内容 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cl ...
分类：
编程语言 时间：
2020-04-09 00:13:36
阅读次数：
97
大数据技术开篇之Hadoop入门【hdfs】 学习都是从了解到熟悉的过程，而学习一项新的技术的时候都是从这个技术是什么？可以干什么？怎么用？如何优化？这几点开始。今天这篇文章分为两个部分。一、hadoop概述 二、hadoop核心技术之一的hdfs的讲解。 【hadoop概述】 一、hadoop是什 ...
分类：
其他好文 时间：
2020-04-07 20:10:19
阅读次数：
61
1.shell的操作命令 hdfs命令有两种风格：hadoop fs、hdfs dfs 两种命令均可使用，效果相同。 1）查看子命令 hadoop fs、hdfs dfs 2）如果查看hdfs或hadoop子命令信息 hdfs dfs -help shellCmd hadoop fs -help s ...
分类：
系统相关 时间：
2020-04-07 00:23:00
阅读次数：
155
hive、Hbase、mysql的区别 1、Hive和HBase的区别 1）hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。 2）hive是面向行存储的数据库。 3）Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce， ...
分类：
数据库 时间：
2020-04-06 20:39:58
阅读次数：
71
一、点击hdfs按钮进入hdfs配置界面 二、开始部署hdfs ha 三、分配角色 设置存储路径，这个可以自定义，我还在学习阶段我就默认了，之前改过，没起来，默认就好了； ...
分类：
Web程序 时间：
2020-04-06 09:58:10
阅读次数：
118
