Hadoop研发在java环境的拓展 一 背景 由于一直使用hadoop streaming形式编写mapreduce程序，所以目前的hadoop程序局限于python语言。下面为了拓展java语言研发，本次实验使用window系统，maven打包，centos系统mapr环境运行。 二 步骤 1 ...
分类：
编程语言 时间：
2016-07-21 15:00:04
阅读次数：
209
之前习惯用hadoop streaming环境编写python程序，下面总结编辑java的eclipse环境配置总结，及一个WordCount例子运行。 一 下载eclipse安装包及hadoop插件 1去官网下载linux版本的eclipse安装包（或者在本人为了大家方便下载，上传到了csdn下载 ...
分类：
编程语言 时间：
2016-07-10 16:57:01
阅读次数：
335
本题主要是求构造一棵Trie树，即词典树用于统计单词。 C#代码如下： 该代码耗时 3312ms,内存 107MB。 如果仅从实现统计功能需求来考虑的话，我的另一个方式是使用字典来进行统计。原理是对每一个单词进行从头到尾的拆分，每一次拆分的单词作为一个key，value则统计每一次获取到该key的次 ...
分类：
其他好文 时间：
2016-07-08 11:52:26
阅读次数：
117
6章： 第一个Linux驱动程序统计单词个数 编写Linux驱动的程序的步骤： 第1步：建立 Linux 驱动骨架（装载和卸载 Linux 驱动） 第2步：注册和注销设备文件 第3步：指定与驱动相关的信息 第4步：指定回调函数 第5步：编写业务逻辑 第6步：编写 Makefile 文件 第7步：编译 ...
分类：
系统相关 时间：
2016-07-05 17:05:21
阅读次数：
202
本章是一个具体的例子，来详细的介绍开发和测试Linux驱动程序的完整过程。尤其是测试Linux驱动。在这个统计单词个数的实例中，重点是该算法的实现技术：即Linux驱动，而不是如何统计的。 6.1Linux驱到底是什么 Linux驱动的工作方式和访问方式是Linux的特点之一。Linux系统将每一个 ...
分类：
移动开发 时间：
2016-07-03 18:41:36
阅读次数：
197
题目描述 Description 给出一个长度不超过200的由小写英文字母组成的字母串(约定;该字串以每行20个字母的方式输入，且保证每行一定为20个)。要求将此字母串分成k份(1<k<=40)，且每份中包含的单词个数加起来总数最大(每份中包含的单词可以部分重叠。当选用一个单词之后，其第一个字母不能 ...
分类：
其他好文 时间：
2016-07-03 06:58:24
阅读次数：
224
2016-07-02（随笔写作时间） 写了好久的程序了为了避免以后用到。。。。。。。。。。 是一个统计单词个数，并按照个数从大到小输出的。输入文件名OK 了 单词是按照首字母排序的，，，里面用到映射等，，，注意重写比较函数，因为我们是要按值排序，而不是一般的按照键排序，，，，我们要输出的由多到少的个 ...
分类：
编程语言 时间：
2016-07-02 20:10:12
阅读次数：
355
这是搭建hadoop环境后的第一个MapReduce程序； 基于python的脚本； 1 map.py文件，把文本的内容划分成单词： 2 reduce文件，把统计单词出现的次数； 3 调用脚本：指定输出目录OUTPUT； 调用支持多语言的streaming的编程环境，参数-input是输入的log文 ...
分类：
其他好文 时间：
2016-06-27 21:48:58
阅读次数：
232
根据一篇英文文章统计其中单词出现最多的10个单词。 # -*- coding: utf-8 -*-import urllib2import refrom collections import Counter '''007之雷霆谷 You Only Live Twice'，可以从http://nove ...
分类：
编程语言 时间：
2016-06-24 14:42:02
阅读次数：
614
简单的输入输出做完了，来点复杂点儿的场景：从某个topic定于消息，然后根据空格分词，统计单词数量，然后将当前输入的单词数量推送到另一个topic。首先规划需要用到的类：从KafkaSpout接收数据并进行处理的backtype.storm.spout.Scheme子类；数据切分bolt：SplitSentenceBolt..
分类：
其他好文 时间：
2016-06-23 19:01:57
阅读次数：
629
