1.使用hadoop是需要jdk环境的，因为hadoop里面有java程序，而运行java程序需要jdk。 2.从宿主机上传文件到虚拟机有很多方法，我选择的是在虚拟机安装lrzsz，安装lrzsz命令行：yum install y lrzsz 3.确定好软件安装路径 /opt 工作目录 /opt/i ...
分类：
其他好文 时间：
2020-02-20 15:34:25
阅读次数：
143
1、使用 Hadoop 提供的 Shell 命令完成如下操作 （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop” 其中遇到的问题： 解决方法： （2） 在 Linux 系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件test.txt，并在该文件 ...
分类：
其他好文 时间：
2020-02-06 23:29:09
阅读次数：
154
简介 YARN 提供请求和使用hadoop集群资源的API 向上隐藏细节 提供更高层的API 4.1 YARN应用运行机制 资源请求 应用生命周期 构建yarn应用 4.2 YARN与MapReduce 1相比 (MapReduce特指hadoop1 的版本, 2/3依次对应) 4.3 YARN中的 ...
分类：
其他好文 时间：
2020-01-02 20:42:12
阅读次数：
81
Hadoop在多次运行下列指令： hadoop namenode format sbin/start dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps 发现没有datanode线程。 现给出原因和解决方案 原因 当我们使用hadoop namenode format格式化 ...
分类：
系统相关 时间：
2019-11-24 10:20:06
阅读次数：
274
最近学习大数据Hadoop和hbase，但是奈何虚拟机速度更不上就想使用Windows下的eclipse链接Linux下的Hadoop等文件，但是使用Hadoop的控件可以连接好，而且也能链接hadoop的相关文件，但是到了hbase就会卡住不动，出现以下界面就一直不动。 经过修改别的虚拟机下的ho ...
分类：
系统相关 时间：
2019-10-16 23:26:04
阅读次数：
235
主要内容 mlsql部署 前提 zookeeper正常使用 spark正常使用 hadoop正常使用 安装包 "微云下载 | tar包目录下" mlsql cluster 2.4_2.11 1.4.0.tar.gz mlsql console 1.4.0.tar.gz mlsql engine_2. ...
分类：
数据库 时间：
2019-09-30 12:25:46
阅读次数：
87
需要创建大量hdfs目录的原因：配置canal拿取mysql的binlog日志上传到hdfs目录。每一张表都需要一个hdfs目录，因此需要创建很多。 正常创建目录都是使用 hadoop fs -mkdir -p /aa/bb/01 少数目录可以这么创建，但是目录过多创建就会很慢，因为创建一个目录就需 ...
分类：
其他好文 时间：
2019-08-30 18:48:07
阅读次数：
73
Debian系统配置 我这里在Vmware里面虚拟4个Debian系统，一个master，三个solver。hostname分别是 master、solver1、solver2、solver3 。对了，下面的JDK和hadoop安装配置操作都是使用 hadoop用户权限 来执行，并非root权限。 ...
分类：
其他好文 时间：
2019-08-25 21:40:52
阅读次数：
182
为什么需要Kylin？ Hadoop帮助我们解决了海量数据的存储。 早期使用Hadoop的MapReduce计算模型，太慢了，只能做离线计算，无法做实时计算与迭代式计算。 Spark应运而生，并带动了Scala语言的发展，Spark的MapReduce计算模型比Hadoop的MapReduce计算模 ...
分类：
其他好文 时间：
2019-08-23 19:19:15
阅读次数：
115
为什么要有Hive？ 在使用Hadoop的过程中，大家都会感觉每次都要写MR程序才能操作到HDFS的文件，太麻烦了，而且如果项目又赶，项目人员不会写MR程序，还要花费大量的时间去学，但是我是知道文件内容，是用什么分割的，分割后的每一列是什么意思，感觉好像关系型数据库。 于是有群人就有了个想法，既然我 ...
分类：
其他好文 时间：
2019-08-20 01:02:43
阅读次数：
86
