1.yarn的进程哪两个?NodeManager,ResourceManager2.rm进程包含哪两个?ApplicationsMaster,ResourceScheduler3.容器什么单词?是在NM节点上还是RM节点?container,在NM节点4.内存参数和CPU参数能记得几个?假如让你们去官网搜，你们会知道以什么关键词搜搜吗yarn.nodemanager.resource.memory
分类：
其他好文 时间：
2018-05-28 11:38:45
阅读次数：
118
1.MapReduce谈谈你们的理解执行引擎计算2.Map是什么map：映射函数3.Reduce是什么reduce：规约函数4.shuffle谈谈你们的理解相当于洗牌按key进行分组5.wordcount那副图，脑子是否有印象?不太深入6.输入分片一般和什么有关?多少个分片就可以有多少个maptask，对不对?块大小不对会合并小文件7.mapreduce架构设计中应用程序AM和task都运行在哪个
分类：
其他好文 时间：
2018-05-28 11:33:48
阅读次数：
123
1.说说vi命令的怎样覆盖文件内容，从记事本复制过去呢？哪些命令命令行模式下gg+dG删除原内容，然后进入编辑默认粘贴进去新的内容2.tar压缩和解压参数tar-cvf压缩tar-xzvf解压3.假如vi在命令行模式，粘贴一段，你们有没有发现第一行会有丢失?那么我们在粘贴前，应该让命令行模式进入什么模式?粘贴前输入i让命令行模式进入编辑模式4.tar解压后我们要习惯的做一件事是什么?更改用户和用户
分类：
系统相关 时间：
2018-05-23 11:03:32
阅读次数：
224
1.hadoop是什么狭义:Hadoop软件(HDFS、MapReduce、Yarn)广义:以hadoop为主的生态圈2.hadoop三大组件是什么?分别做什么HDFS:分布式文件管理系统存储MapReduce:执行引擎计算Yarn:资源(memorycpu)和作业调度平台资源3.hdfs在部署时，要配置信任关系，请问root和hadoop用户部署时，区别是什么注意authorized_keys权
分类：
其他好文 时间：
2018-05-21 14:44:20
阅读次数：
167
1.hadoop的广义和狭义的理解狭义:Hadoop软件(HDFS、MapReduce、Yarn)广义:以hadoop为主的生态圈2.hadoop三大组件是什么?分别是做什么?HDFS:分布式文件管理系统存储MapReduce:执行引擎计算Yarn:资源(memorycpu)和作业调度平台资源3.hdfs伪分布式部署时我们需要配置当前用户对当前机器的无密码信任关系，那么你们会配置吗?root和其他
分类：
其他好文 时间：
2018-05-17 15:18:24
阅读次数：
185
1、软件环境 RHEL6 jdk-8u45hadoop-2.8.1.tar.gz sshxx.xx.xx.xx ip地址 hadoop1xx.xx.xx.xx ip地址 hadoop2xx.xx.xx.xx ip地址 hadoop3xx.xx.xx.xx ip地址 hadoop4xx.xx.xx.xx ip地址 hadoop5本次部署只涉及伪分布式部署只是要主机hadoop1 ? 2.伪分布式
分类：
其他好文 时间：
2018-05-16 10:55:21
阅读次数：
129
1.排序语法，默认是降序吗不是默认是升序2.限制多少行语法limit1003.分组函数有哪些groupby4.分组语法是什么groupbycolumn5.分组语法的注意点是什么查询列要放到groupby里面，函数除外6.join有哪几种leftjoin,rightjoin,innerjoin7.leftjoin是哪个表数据全左表8.union和unionall区别是什么union去重，uniona
分类：
数据库 时间：
2018-05-14 14:35:22
阅读次数：
229
一、hadoop的概念 二、hadoop的发展历史 三、hadoop1.x的生态系统 HBase：实时分布式数据库 相当于关系型数据库，数据放在文件中，文件就放在HDFS中。因此HBase是基于HDFS的关系型数据库。实时性：延迟非常低，实时性高。 举栗：在近18亿条数据的表中查询1万条数据仅需1. ...
分类：
其他好文 时间：
2018-04-24 17:47:33
阅读次数：
271
它出现在Hadoop1.x版本中，又称辅助NameNode，在Hadoop2.x以后的版本中此角色消失。如果充当datanode节点的一台机器宕机或者损害，其数据不会丢失，因为备份数据还存在于其他的datanode中。但是，如果充当namenode节点的机器宕机或损害导致文件系统无法使用，那么文件系 ...
分类：
其他好文 时间：
2018-04-17 11:41:20
阅读次数：
208
export JAVA_HOME=/usr/java/jdk1.8.0_11 export SPARK_MASTER_IP=hadoop1 export SPARK_MASTER_HOST=hadoop1 export SPARK_MASTER_PORT=7077 export SPARK_WORK ...
分类：
其他好文 时间：
2018-04-11 18:08:49
阅读次数：
133
