spark经典之单词统计 准备数据 既然要统计单词我们就需要一个包含一定数量的文本，我们这里选择了英文原著《GoneWithTheWind》（《飘》）的文本来做一个数据统计，看看文章中各个单词出现频次如何。为了便于大家下载文本。可以到GitHub上下载文本以及对应的代码。我将文本放在项目的目录下。 ...
分类：
其他好文 时间：
2020-01-12 10:06:03
阅读次数：
116
Linux是一个操作系统软件。与Windows不同的是，Linux是一套开放源代码程序的、并可以自由传播的类Unix操作系统，它是一个支持多用户、多任务、多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。如何快速入门，需要哪些知识点？1：linux环境专栏li
分类：
系统相关 时间：
2019-12-05 22:30:44
阅读次数：
144
package javaClassHomework; import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import java.util.TreeMap; public clas... ...
分类：
其他好文 时间：
2019-09-26 23:51:27
阅读次数：
178
大致思路是将hdfs上的文本作为输入，MapReduce通过InputFormat会将文本进行切片处理，并将每行的首字母相对于文本文件的首地址的偏移量作为输入键值对的key，文本内容作为输入键值对的value，经过在map函数处理，输出中间结果<word,1>的形式，并在reduce函数中完成对每个 ...
分类：
其他好文 时间：
2019-09-02 21:00:24
阅读次数：
165
idea上的maven中的pom.xml文件 mapper reducer worldcount 本地模式 需要将 words.txt里面的内容 左侧applications下是WorldApp ,在Program arguments 输入你的文件位置,格式见下图 (注意不应该出现中文字符) 开始两 ...
分类：
其他好文 时间：
2019-06-30 12:45:00
阅读次数：
367
短语统计 我们在处理文本的时候只需将提取出来的文本数据进行特殊的分割处理，比如只需将英文的“,”，“.”，“？”，“!"以及回车符设为分隔符。并将一些无用单词作为间断比如 "a", "it", "the", "and", "this"等。 package analyse_word; import j ...
分类：
其他好文 时间：
2019-06-16 13:26:11
阅读次数：
103
原理：1 、分隔：以空格分隔单词 2、统计 ：单词出现的次数并过滤 3、字体：根据统计搭配相应的字号 4 、布局（中文先以空格分词） 方法： 1.建立对象 f=wordcloud.WordCloud() 2.产生词云 f.generate(txt) 3.输出 f.to_file(".jpg") ...
分类：
编程语言 时间：
2019-04-30 23:24:42
阅读次数：
173
1、成绩统计。 输入文件input.txt： 期待输出output.txt： 代码： / 2、单词统计。 输入文件input.txt： 期待输出： 代码： ...
分类：
编程语言 时间：
2018-12-29 23:11:03
阅读次数：
204
mapreduce实现思路： Map阶段： a) 从HDFS的源数据文件中逐行读取数据 b) 将每一行数据切分出单词 c) 为每一个单词构造一个键值对(单词，1) d) 将键值对发送给reduce Reduce阶段： a) 接收map阶段输出的单词键值对 b) 将相同单词的键值对汇聚成一组 c) 对 ...
分类：
其他好文 时间：
2018-12-06 20:37:03
阅读次数：
214
