一、进入IDE界面cd ~/Downloads/idea/binidea.sh二、建立scala项目Step 1：导入Spark-hadoop对应的包，次选择“File”–> “Project Structure” –> “Libraries”，选择“+”，将spark-hadoop 对应的包导入:...
分类：
系统相关 时间：
2014-10-29 23:29:50
阅读次数：
335
本文将详细介绍CentOS7下安装Hadoop2.2过程，并运行Hadoop自带的WordCount单词计数程序。...
分类：
其他好文 时间：
2014-10-25 15:54:47
阅读次数：
378
valstr="aaaaaababbc"
valmiddData=List(("a",1),("a",12),("b",3),("c",1),("b",1))
/*
*wordcount
*/
str.split("").groupBy(x=>x).map(x=>x._1->x._2.size)
/*
result:scala.collection.immutable.Map[String,Int]=Map(a->2,b->1,c->1,aa->1,bb->1..
分类：
其他好文 时间：
2014-10-22 18:34:45
阅读次数：
248
在/home/yuanqin/下建立file文件夹，再在文件夹建立file1.txt、file2.txt、file3.txtfile1内容：hello wordfile2内容：hello hadoopfile3内容：你好 你是谁 你好 我是袁琴在hadoop目录下输入：bin/hadoop fs -...
分类：
系统相关 时间：
2014-10-20 11:41:19
阅读次数：
205
前言: 毕业两年了，之前的工作一直没有接触过大数据的东西，对hadoop等比较陌生，所以最近开始学习了。对于我这样第一次学的人，过程还是充满了很多疑惑和不解的，不过我采取的策略是还是先让环境跑起来，然后在能用的基础上在多想想为什么。 通过这三个礼拜(基本上就是周六周日，其他时间都在加班啊T ...
分类：
系统相关 时间：
2014-10-19 17:01:42
阅读次数：
431
最近学习hadoop，遇到了很多问题，上网查...
分类：
其他好文 时间：
2014-10-18 11:14:45
阅读次数：
210
引言
1.本文不描述MapReduce入门知识，这类知识网上很多，请自行查阅
2.本文的实例代码来自官网
http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
最后的WordCount v2.0，该...
分类：
其他好文 时间：
2014-10-16 20:49:43
阅读次数：
203
为了在IDEA中编写scala，今天安装配置学习了IDEA集成开发环境。IDEA确实很优秀，学会之后，用起来很顺手。关于如何搭建scala和IDEA开发环境，请看文末的参考资料。用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子（$SPA...
分类：
编程语言 时间：
2014-10-10 23:51:34
阅读次数：
528
java代码：注：打包的时候一个依赖jar都不要。import java.util.Arrays;import java.util.List;import java.util.regex.Pattern;import org.apache.hadoop.io.IntWritable;import o...
分类：
其他好文 时间：
2014-10-07 14:59:43
阅读次数：
200
本篇主要介绍Job从客户端提交到JobTracker及其被初始化的过程。 以WordCount为例，以前的程序都是通过JobClient.runJob()方法来提交Job，但是现在大多用Job.waitForCompletion(true)方法来提交(true表示打印出运行过程)，但其本质都是...
分类：
其他好文 时间：
2014-09-29 00:39:36
阅读次数：
167
