使用Maven构建Hadoop Web项目，此项目是一个样例Demo，方便开发专注于后台以及Hadoop开发的人员在其上构建自己定制的项目。该Demo提供了两个样例：
查看HDFS文件夹内容及其子文件/夹；
运行WordCount MR任务；项目下载地址：Maven构建Hadoop Web项目
系统软件版本
Spring4.1.3
Hibernate4.3.1
Struts2.3.1
hadoop2...
分类：
Web程序 时间：
2015-06-09 23:47:28
阅读次数：
255
今天在centos 安装hadoop安装完成后执行wordcount的时候报如下错误：at java.net.InetAddress.getLocalHost(InetAddress.java:1475)解决方法：vim /etc/hosts再最下面追加一行:ip hostname比如我的机器名为：...
分类：
编程语言 时间：
2015-06-09 07:24:53
阅读次数：
857
1.Spark1.0.0 应用程序部署工具spark-submit2.Spark Streaming的编程模型3.使用java api操作HDFS文件4.用SBT编译Spark的WordCount程序5.在Spark上运行TopK程序6.在Spark上运行WordCount程序7.Spark一个简单...
分类：
其他好文 时间：
2015-05-28 21:21:46
阅读次数：
198
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以..
分类：
Web程序 时间：
2015-05-28 18:21:38
阅读次数：
327
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要运行以下命令即可，假设当前目录是...
分类：
Web程序 时间：
2015-05-28 18:13:05
阅读次数：
208
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。1. 下载spark binary 0.9.12. 安装scala3. 安装sbt4. 安装java启动spark-shell单机模式运行，即local...
分类：
Web程序 时间：
2015-05-28 17:39:19
阅读次数：
231
1.准备去官网下载，http://hadoop.apache.org/然后官网是源码自己编译2.开始搭建干掉防火墙安装ssh安装jdk配置ssh无密码访问改hadoop配置文件测试hadoop wordcount干掉防火墙ubuntu系列ufw disableapt-get remove iptab...
分类：
其他好文 时间：
2015-05-23 14:10:25
阅读次数：
117
Mapreduce编程，本文以WordCount为例：实现文件字符统计在eclipse里面搭建一个java项目，引入hadooplib目录下的jar，和hadoop主目录下的jar。新建WordCount类：packageorg.scf.wordcount;importjava.io.IOException;importjava.util.*;importorg.apache.hadoop.fs.Path;importo..
分类：
其他好文 时间：
2015-05-17 23:45:34
阅读次数：
313
CDH基于稳定版Apache Hadoop，并应用了最新Bug修复或者Feature的Patch。Cloudera常年坚持季度发行Update版本，年度发行Release版本，更新速度比Apache官方快，而且在实际使用过程中CDH表现无比稳定，并没有引入新的问题。 Ø Cloudera官方网站上安装、升级文档详细，省去Google时间。 Ø CDH支持Yum/Apt包，Tar包，RPM包，Cloudera Mana...
分类：
Web程序 时间：
2015-05-17 18:46:48
阅读次数：
667
1、启动hadoop工程 2、MapReduce统计文本单词数量 public?class?WordCount?{
private?static?class?WordMapper?extends
Mapper<LongWritable,?Text,?Text,?IntWritable>?{
@Override
protec...
分类：
其他好文 时间：
2015-05-15 20:04:42
阅读次数：
235
