今天在IDEA开发工具上面跑了一个任务，结果出现了：如下图： 解决办法：没有配置hadoop的环境变量 1.首先下载一个win10环境下的hadoop 2。配置path的hadoop的环境 3.配置HADOOP _HOME的路径 ...
分类：
编程语言 时间：
2019-08-28 22:28:38
阅读次数：
112
HDFS配置 参考文档：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html Hadoop配置文件修改 hdfs-site.xml <property> <name>dfs.webhdfs.enabled</nam ...
分类：
其他好文 时间：
2019-08-25 13:58:16
阅读次数：
96
编译:0. 环境准备maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）gcc-c++zlib-develautoconfautomakelibtool通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel autoconf... ...
分类：
其他好文 时间：
2019-08-06 13:43:12
阅读次数：
119
SparkSQL是指整合了Hive的spark-sql cli, 本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler, 具体配置参见：Hive(五):hive与hbase整合 目录： SparkSql 访问 hbase配置 测试验证 SparkSql 访问 hb ...
分类：
数据库 时间：
2019-07-29 00:15:25
阅读次数：
107
一、Java配置 1、完整路径不能有空格：C:\jdk1.8.0_101 2、配置环境变量：JAVA_HOME 二、Hadoop配置 1、完整路径不能有空格：F:\0002_BigData\Soft\hadoop-2.7.6 2、创建文件夹：data、name、tmp 3、下载winutil，拷贝至 ...
如果执行hdfs文件操作的时候抛异常 winutils 如何解决： 第一步：把 F:\传智播客大数据离线阶段课程资料\3、大数据离线第三天\解决winutils的问题\hadoop-2.6.0-cdh5.14.0 这个安装包拷贝到一个没有中文没有空格的路径下面去（D:\Develop\hadoop- ...
分类：
编程语言 时间：
2019-05-30 01:27:43
阅读次数：
158
Oozie的安装与部署 1、解压Oozie 2、Hadoop配置文件修改，完成后scp到其他机器节点 core-site.xml 配置JobHistoryServer服务（必须） mapred-site.xml yarn-site.xml 完成后：记得scp同步到其他机器节点。 3、开启Hadoop ...
分类：
其他好文 时间：
2019-05-25 09:31:46
阅读次数：
110
1：需要将yarn.cmd替换到hadoop的bin下，因为windows下需要windows的文档格式2：hive如果需要运行mr任务，要使用管理员身份运行3：如果机器资源匮乏yarn无法启动，始终提示节点unhealthy可使用配置降低要求（yarn-site覆盖到hadoop/etc的下面）， ...
分类：
其他好文 时间：
2019-05-11 09:14:57
阅读次数：
97
Top NSD ARCHITECTURE DAY05 案例1：安装Hadoop 案例2：安装配置Hadoop 1 案例1：安装Hadoop 1.1 问题 本案例要求安装单机模式Hadoop： 单机模式安装Hadoop 安装JAVA环境 设置环境变量，启动运行 1.2 步骤 实现此案例需要按照如下步骤 ...
分类：
其他好文 时间：
2019-04-28 18:59:08
阅读次数：
198
1.准备环境 1.1配置dns 1.2配置免密登陆 1.3关闭防火墙 1.4配置Java环境,Hadoop环境 2.配置Hadoop 2.1配置Hadoop环境脚本文件中的JAVA_HOME参数 2.2修改Hadoop配置文件 在hadoop 3.2.0/etc/hadoop目录下，修改core s ...
分类：
其他好文 时间：
2019-04-25 17:35:02
阅读次数：
134
