元数据更新过程？ MapReduce的Shuffle过程？ HDFS的读的流程？ HDFS写的流程？ 如何将hadoop配置文件从一台机器同步到另一台机器上？ scp -r hadoop-2.7.3 hpsk@192.168.134.222:/opt/modules/ 如何终止yarn上正在运行的程 ...
分类：
其他好文 时间：
2020-06-15 23:20:15
阅读次数：
144
https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L2.pdf https://drive.google.com/drive/folders/13_vsxSIEU9TDg1TCjYEwOidh0x3dU6es 第二节课花了40分钟讲，如果dataNode ...
分类：
其他好文 时间：
2020-06-15 18:02:14
阅读次数：
50
hadoop文件目录结构 http://192.168.21.110:50070/explorer.html#/ 登录后会看到hadoop的数据目录 报错解决 Permission denied: user=dr.who, access=WRITE, inode="/":root:supergrou ...
分类：
其他好文 时间：
2020-06-15 17:48:08
阅读次数：
55
往大数据方向发展需要学哪些技术？网上一搜真是指不胜屈。对于小白来说，实在是一头雾水，到底哪些是当下流行的？哪些是必须要先学会的？流行？主次搞不清。为了解决这些疑惑，羚羊专门花了些时间， 挨个技术去研究对比归类，大概总结出以下的技术点： 文件存储： Hadoop HDFS、GFS、KFS、Tachyo ...
分类：
其他好文 时间：
2020-06-15 12:10:17
阅读次数：
249
HDFS【shell操作hdfs命令】 上传 -help：输出这个命令参数 hadoop fs -help rm -moveFromLocal：从本地剪切粘贴到HDFS hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo -copyFromL ...
分类：
系统相关 时间：
2020-06-14 18:55:11
阅读次数：
64
4个site.xml文件和 3个env.sh文件和1个slave文件 1,core-site.xml 2,hdfs-site.xml 3,mapred-site.xml 4,yarn-site.xml 5,hadoop-env.sh 6,mapred-env.sh 7,yarn-env.sh 8,s ...
分类：
其他好文 时间：
2020-06-14 17:07:49
阅读次数：
141
首先，先安装jdk.我安装的是jdk14.下载界面如下所示： 接下来配置path,java_home两个环境变量即可。 接下来安装scala 我安装的scala是2.13.2版本。 接下来安装hadoop ...
分类：
其他好文 时间：
2020-06-13 23:05:23
阅读次数：
66
package com.atguigu.java; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; impor ...
分类：
编程语言 时间：
2020-06-13 22:59:16
阅读次数：
76
开发软件： python java c# 前端 c++ GO 数据库 数据结构 算法 数据分析软件： R MATLAB hadoop 游戏开发软件 photosh u3d u4f ...
分类：
其他好文 时间：
2020-06-13 21:29:36
阅读次数：
68
经常听到“五个九”这样的词，它指的是99.999%的正常运行时间或者可用性。 虽然从绝对意义上来讲，这是最好的可用性，但也要认识到，由许多这种设备组成的系统的整体可靠性可以相差很大，这取决于该系统能否容忍单个组件故障。 假设一套系统需要5台可靠性达99%的服务器才能运行。那么，该系统的可用性为0.9 ...
分类：
其他好文 时间：
2020-06-13 12:47:46
阅读次数：
76
