视频学习: https://www.bilibili.com/video/BV1z441127qT?p=1 一、应用现状 一、项目结构 二、安装和使用 安装教程:https://www.bilibili.com/video/BV1z441127qT?p=5 ...
分类:
其他好文 时间:
2020-08-10 23:16:57
阅读次数:
82
JDK下载与配置 Hadoop下载,安装与部署 由于Hadoop是由java编程而写,所有运行环境需要java支持,Hadoop需java1.6及以上支持。 1.JDK 下载与配置 查看当前系统jdk,chuxianOpen JDK 需要卸载 rpm -qa | grep jdk rpm -e -- ...
分类:
其他好文 时间:
2020-08-08 17:41:47
阅读次数:
71
1,-mkdir 创建目录 Usage:hdfs dfs -mkdir [-p] < paths> 选项:-p 很像Unix mkdir -p,沿路径创建父目录。 2,-ls 查看目录下内容,包括文件名,权限,所有者,大小和修改时间 Usage:hdfs dfs -ls [-R] < args> 选 ...
分类:
其他好文 时间:
2020-08-05 18:13:32
阅读次数:
89
查询 hadoop dfs -ls / hadoop dfs -ls -R / 注:-R 是递归查询 创建目录 hadoop dfs -mkdir /test 创建文件 hadoop dfs -touchz /aa.txt 查看文件内容 hadoop dfs -cat /test/aa.txt 复制 ...
分类:
其他好文 时间:
2020-08-05 16:53:52
阅读次数:
89
Apache 存储了很多的开源软件 Hadoop 处理大数据 kafka 消息队列 下载Nginx 解压nginx 进入nginx目录 cat README.md ./config --help 后2个参数分别是: 支持https 支持nginx状态页面 conf 配置文件(各种设置) html 存 ...
分类:
其他好文 时间:
2020-08-04 09:45:53
阅读次数:
82
OutputFormat format = OutputFormat.createPrettyPrint(); format.setEncoding("UTF-8"); XMLWriter writer = new XMLWriter(new FileOutputStream(XmlPath), f ...
分类:
编程语言 时间:
2020-07-31 18:00:51
阅读次数:
80
Hbase在hdfs上的存储位置,根目录是由配置项hbase.rootdir决定,默认就是"/hbase" 其中hbase master 的webui 由参数hbase.master.info.port决定,一般配置为 60010 [dip@g3-test-36 ~]$ hadoop fs -ls ...
分类:
其他好文 时间:
2020-07-30 19:45:37
阅读次数:
104
前面几篇文章把Hadoop常用的模块都学习了,剩下一个新模块Ozone,截止到今天最新版本是0.5.0Beta,还没出正式版。好在官方网站有文档,还是中文版的。 什么是Ozone Ozone 是 Hadoop 的分布式对象存储系统,具有易扩展和冗余存储的特点。 Ozone 不仅能存储数十亿个不同大小 ...
分类:
其他好文 时间:
2020-07-30 01:46:54
阅读次数:
117
NN-1 NN-2 DN ZK ZKFC JNN RS NM(和DN在一起) node0001 * * * node0002 * * * * * * node0003 * * * * * node0004 * * * * 1,修改配置文件 cd /opt/sxt/hadoop-2.6.5/etc/h ...
分类:
其他好文 时间:
2020-07-29 00:45:28
阅读次数:
156
1 hadoop集群安装 https://blog.csdn.net/shshheyi/article/details/84893371 1.1 修改主机名 [root@localhost ~]# vim /etc/hosts # 三台机器都需要操作 192.168.28.131 master 19 ...
分类:
其他好文 时间:
2020-07-29 00:41:18
阅读次数:
111