一、概述1.实验使用的Hadoop集群为伪分布式模式，eclipse相关配置已完成；2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。二、使用eclipse连接hadoop集群进行开发1.在开发主机上配置hadoop①将hadoop-2.7.3.tar.gz解压到本地主机上②使用windows版本的hadoop中的bi..
分类：
系统相关 时间：
2017-09-07 14:48:47
阅读次数：
209
学习如何将数据导入到 Apache Hadoop 机群并使用 Spark、Hive、Flume、Sqoop、Impala 及其他 Hadoop 生态系统工具对数据进行各种操作和处理分析，Spark and Hadoop开发员培训(CCA-175)报名平台活动家。 ...
分类：
其他好文 时间：
2017-07-28 12:12:57
阅读次数：
400
在Fedora18上配置个人的Hadoop开发环境 1. 背景 文章中讲述了类似于“personalcondor”的一种“personal hadoop” 配置法。基本的目的是配置文件和日志文件有一个单一的源， 能够用软连接到开发生成的二进制库。这样就能够在所生成二进制库更新的时候维护其它的数据和配 ...
分类：
其他好文 时间：
2017-06-24 11:21:36
阅读次数：
242
学习如何将数据导入到 Apache Hadoop 机群并使用 Spark、Hive、Flume、Sqoop、Impala 及其他 Hadoop 生态系统工具对数据进行各种操作和处理分析 ...
分类：
其他好文 时间：
2017-06-23 19:35:51
阅读次数：
182
hadoop eclipse插件生成 做了一年的hadoop开发。还没有自动生成过eclipse插件，一直都是在网上下载别人的用，今天有时间，就把这段遗憾补回来，自己生成一下，废话不说，開始了。 本文着重介绍Eclipse插件的生成、配置过程、常见错误的解放方法以及使用Eclipse插件測试执行wo ...
分类：
系统相关 时间：
2017-05-20 09:56:05
阅读次数：
241
总结自己在Hadoop开发中遇到的问题，主要在mapreduce代码执行方面。大部分来自日常代码执行错误的解决方法，还有一些是对Java、Hadoop剖析。对于问题，通过查询stackoverflow、csdn找到了解决方法。汇总出来以后查询方便。内容将不定期更新。 1、jar包执行出错，提示“cl ...
分类：
其他好文 时间：
2017-05-19 15:15:45
阅读次数：
196
这篇文章不具体讲一些细的概念东西，如要了解cygwin和hadoop可以去参考其他的文章，该文阐述从下载cygwin到搭建hadoop环境，里面的图片部门来自网上资料，因为本人当时部署时没有保存自己运...
Hadoop官方站点仅仅提供了32位的Hadoop包。我装的是64位的系统。自然无法使用，会报错误，导致的结果是无法启动hadoop libhadoop.so.1.0.0 which might have disabled stack guard. 我们能够在${Hadoop-Home}/lib/n ...
分类：
系统相关 时间：
2017-05-13 12:29:58
阅读次数：
282
准备了一台淘汰的笔记本。单核CPU。3G内存。160G硬盘；准备一个2G的U盘在官网下载了64位的14.04版本号（麒麟）的ISO。下载UNetbootin（Ubuntu专用U盘安装工具）使用UNetbootin将ISO文件写入到U盘中，将笔记本设置为U盘启动，将U盘插入笔记本，打开笔记本电源就可以 ...
分类：
系统相关 时间：
2017-05-06 15:10:05
阅读次数：
144
1、安装Hadoop开发插件hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar，拷贝到myeclipse根目录下/dropins目录下。2、 启动myeclipse，打开Perspective：【Window】->【Open Perspe ...
分类：
其他好文 时间：
2017-05-06 14:16:49
阅读次数：
251
