1 、读取输入文件内容，解析成key、value对。对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数。 2 、写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。3、 对输出的key、value进行分区。4 、对不同分区的数据，按照key进行
分类：
其他好文 时间：
2016-03-15 09:41:35
阅读次数：
266
从WordCount開始分析 编写一个样例程序 编写一个从HDFS中读取并计算wordcount的样例程序: packageorg.apache.spark.examples importorg.apache.spark.SparkContext importorg.apache.spark.Spa
分类：
其他好文 时间：
2016-03-12 13:24:13
阅读次数：
297
Storm的单词统计设计 一：Storm的wordCount和Hadoop的wordCount实例对比 二：Storm的wordCount的方案实例设计 三：建立maven项目，添加maven相关依赖包(1)输入：search.maven.org网址，在其中找到storm的核心依赖(2)将核心依赖添
分类：
其他好文 时间：
2016-03-04 16:27:09
阅读次数：
1733
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop
分类：
其他好文 时间：
2016-03-03 11:24:46
阅读次数：
198
Hadoop2.6运行wordcount1、启动hadoop[hadoop@masterhadoop-2.6.0]$./sbin/start-all.sh[hadoop@masterhadoop-2.6.0]$jps21444ResourceManager21301SecondaryNameNode22072Jps21117NameNode[hadoop@slave1current]$jps5505NodeManager5397DataNode6102Jps2、在hadoop的目录下创..
分类：
其他好文 时间：
2016-02-29 00:52:29
阅读次数：
227
通过 搭建Hadoop集群 (二), 我们已经可以顺利运行自带的wordcount程序. 下面学习如何创建自己的Java应用, 放到Hadoop集群上运行, 并且可以通过debug来调试. 有多少种Debug方式 Hadoop在Eclipse上的Debug方式 一般来说, Debug最多的应用场景是
分类：
其他好文 时间：
2016-02-02 21:37:21
阅读次数：
280
# Word count on manuscript using PySpark# import regex moduleimport re# import add from operator modulefrom operator import add# read input filefile_i...
分类：
其他好文 时间：
2016-01-21 10:30:13
阅读次数：
633
文本排序：sort（不影响源文件次序只影响显示次序）-n:数值排序-r:降序uniq：-c:显示文件中行重复的次数-d:只显示重复的行文本统计：wc(wordcount)字符处理命令：tr--转换或删除字符bash及其特性：命令历史、命令补全管道，重定向命令别名命令行编辑命令行展开文件名通配变量编..
分类：
系统相关 时间：
2016-01-14 19:11:23
阅读次数：
237
今晚听了王家林老师的第10课Java开发Spark实战，课后作业是：用Java方式采用Maven开发Spark的WordCount并运行在集群中先配置pom.xml com.dt.spark SparkApps 0.0.1-SNAPSHOT jar org.apache.spark ...
分类：
编程语言 时间：
2016-01-12 01:23:18
阅读次数：
305
1 package cn.spark.study.core; 2 3 import java.util.Arrays; 4 5 import org.apache.spark.SparkConf; 6 import org.apache.spark.api.java.JavaPairRDD; ...
分类：
编程语言 时间：
2016-01-07 13:12:49
阅读次数：
231
