1.安装java 下载 ： yum install java-1.7.0-openjdk 2、配置环境变量 vim /etc/profile 要先看自己安装的java全名 然后再环境配置 3、让配置生效 source /etc/profile 二。配置hadoop 1.下载并安装 wget http ...
分类：
其他好文 时间：
2018-01-03 13:56:51
阅读次数：
187
折腾了两天，抱着不放弃的精神，我终于编译出我自己所需的hadoop中在eclipse中的插件 在网上下载的可能因为版本不一致，在编译的时候出现各种各样的问题，包括你的eclipse版本和hadoop版本 ，jdk版本，ant版本 所以下载好多个，最少十九个吧，但是一直没有成功，一直出现找不到包的异常 ...
分类：
系统相关 时间：
2017-12-18 14:24:17
阅读次数：
335
在ubuntu16.4下spark的单机/伪分布式配置我在此就不在一一赘述，详情请点击如下连接： Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 我出现问题是在配置好伪分布式的文件并且NameNode 的格式化正确我弄成后，在启动hdfs时出现如下错误： 此 ...
分类：
系统相关 时间：
2017-12-18 01:14:10
阅读次数：
188
集群架构 Hadoop的安装其实就是HDFS和YARN集群的配置，从下面的架构图可以看出，HDFS的每一个DataNode都需要配置NameNode的位置。同理YARN中的每一个NodeManager都需要配置ResourceManager的位置。 NameNode和ResourceManager的 ...
分类：
其他好文 时间：
2017-12-16 11:02:11
阅读次数：
218
在使用sqoop 将数据库表中数据导入至hdfs时 配置启用压缩 hadoop 的命令 检查本地库支持哪些 bin/hadoop checknative 需要配置native 要编译版本 删除hadoop安装目录 lib 下的native文件夹 将解压好的native文件 拷贝到hadoop lib ...
分类：
其他好文 时间：
2017-12-07 13:32:15
阅读次数：
259
1.下载并安装eclipse2.https://github.com/winghc/hadoop2x eclipse plugin3.下载插件到eclipse的插件目录 4.配置hadoop安装目录 打开eclipsewindow >prefe ...
分类：
系统相关 时间：
2017-11-28 12:43:26
阅读次数：
255
安装环境： CentOS7_x86_64 JDK8 Hadoop-2.9.0 安装步骤： 1.安装配置JDK。 2.下载Hadoop-2.9.0。 3.解压Hadoop 4.将Hadoop的bin目录和sbin目录添加到PATH中。 配置步骤： 1.配置hadoop-env.sh文件中的JAVA_H ...
分类：
系统相关 时间：
2017-11-27 01:22:53
阅读次数：
245
一、编译源码步骤演示详解 官网下载的hadoop包，执行hadoop命令时，会有警告信息，为去除此警告，需要重新编译hadoop相应版本的源码，替换hadoop安装包lib目录下的native(警告如下图所示) . 编译hadoop环境要求 1、必须在linux系统下编译 2、编译使用的JDK版本必 ...
分类：
其他好文 时间：
2017-11-10 00:15:40
阅读次数：
140
前提准备： 1.hadoop安装运行正常。Hadoop安装配置请参考：Ubuntu下 Hadoop 1.2.1 配置安装 2.集成开发环境正常。集成开发环境配置请参考 ：Ubuntu 搭建Hadoop源码阅读环境 MapReduce编程实例： MapReduce编程实例（一）,详细介绍在集成环境中运 ...
分类：
其他好文 时间：
2017-11-08 11:52:56
阅读次数：
227
1下载hive 下载地址：http://hive.apache.org/downloads.html 点击上图的Download release now! 如图： 点击上图的某个下载地址，我点击的是国内的这个地址：http://mirror.bit.edu.cn/apache/hive/ 如图： 点 ...
分类：
其他好文 时间：
2017-11-04 11:34:24
阅读次数：
296
