IDEA开发WordCount（Spark）报错WordCount{
}
WordCount{
(args:Array[]){
hadoopAddr=conf=SparkConf().setAppName()
sc=SparkContext(conf)
mapRdd=sc.textFile(hadoopAddr)
result=mapRdd.flatMap(_.split()).map((_)).reduceByKey(_+_).collect()
}
}UsingSpark‘sdefault..
分类：
其他好文 时间：
2015-12-09 07:24:18
阅读次数：
232
在win7测试Wordcount遇到的问题，解决过程hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCount hdfs://itcast:9000/words /out2执行上面一句话时候报错：Unsupported major.minor ...
分类：
其他好文 时间：
2015-12-02 00:56:50
阅读次数：
300
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.ja...
分类：
其他好文 时间：
2015-11-30 20:27:25
阅读次数：
219
可以通过一个简单的例子来说明MapReduce到底是什么： 我们要统计一个大文件中的各个单词出现的次数。由于文件太大。我们把这个文件切分成如果小文件，然后安排多个人去统计。这个过程就是”Map”。然后把每个人统计的数字合并起来，这个就是“Reduce"。 上面的例子如果在MapReduce去做呢.....
分类：
其他好文 时间：
2015-11-25 22:05:54
阅读次数：
229
Training入口package org.wordCount;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop....
分类：
其他好文 时间：
2015-11-14 16:30:07
阅读次数：
540
看书大概了解了下Streaming的原理，但是木有动过手啊。。。万事开头难啊，一个wordcount 2小时怎么都运行不出结果。是我太蠢了，好了言归正传。SparkStreaming是一个批处理的流式计算框架，适合处理实时数据与历史数据混合处理的场景（比如，你用streaming将实时数据读入处理，...
分类：
其他好文 时间：
2015-11-14 16:23:23
阅读次数：
267
1. 首先启动zookeeper2. 启动kafka3. 核心代码生产者生产消息的java代码，生成要统计的单词package streaming;import java.util.Properties; import kafka.javaapi.producer.Producer; impo...
分类：
编程语言 时间：
2015-11-12 17:56:35
阅读次数：
493
转自：http://blog.csdn.net/yczws1/article/details/21794873.我们都安装完Hadoop之后，按照一些案例先要跑一个WourdCount程序，来测试Hadoop安装是否成功。在终端中用命令创建一个文件夹，简单的向两个文件中各写入一段话，然后运行Hado...
分类：
其他好文 时间：
2015-11-06 17:43:15
阅读次数：
361
转自：http://blog.csdn.net/yczws1/article/details/21899007纯干货：通过WourdCount程序示例：详细讲解MapReduce之Block+Split+Shuffle+Map+Reduce的区别及数据处理流程。 Shuffle过程是MapReduc...
分类：
其他好文 时间：
2015-11-06 17:38:40
阅读次数：
433
public static void main(String[] args) throws Exception {Configuration conf = new Configuration();//conf就是作业的配置对象，读取core-site、core-default、hdfs-site/d...
分类：
其他好文 时间：
2015-10-31 17:02:42
阅读次数：
188
