Golang中也有实用的泛型编程模板。如map。据Go官方团队称，其实现为Hash表，而非类似cpp或Java的红黑树。所以理论上速度更能快上几个等级（Hash与红黑树的效率对比可以看我的文章C++中各种关联方式的速度对比，效率比约为3:1），但有一些区别，就是遍历时，数据是无需且随机的(当然，.....
分类：
其他好文 时间：
2015-07-20 23:13:44
阅读次数：
171
看hive目录下就可以了，程序在hdfs里创建一个hive的大文件夹，相当于数据库吧。上面就是一个完整的利用hive来做单词统计，其中的优劣也能看出一点。
分类：
其他好文 时间：
2015-07-15 11:03:53
阅读次数：
154
/*
功能实现：
从文本文档里读取英文单词，可能含有中文字符，
实现英文单词，中文字符的数目统计
Author ：贺荣伟
creat Time: 16:01 2015/7/10 星期五
#include
#include
#include
#include
#include
const int str_len=1010;
char str[str_len];
bo...
分类：
系统相关 时间：
2015-07-10 19:11:57
阅读次数：
166
storm高可靠性：storm有一种机制可以保证从spout发出的每个tuple都会被完全处理 可靠性机制：1.节点故障迁移 当一个节点上的worker出现问题是，会自动切到其他节点；2.消息完整发送一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建“单词统计”的例...
分类：
其他好文 时间：
2015-06-13 06:16:10
阅读次数：
182
1.diff －－查看两个文件间不同地方，对比两个文件。#diff/etc/passwd/tmp/passwd2.uniq －－去除重复行-c 统计重复的行数有几行-i 忽略大小写-d 只显示重复的行#uniq/tmp/passwduniq-d/tmp/passwd|head-2&>aa.txt3.sort －－排序7-r 反向-n 以数字来排序-u 合并同类-t ..
分类：
系统相关 时间：
2015-05-31 06:54:06
阅读次数：
248
wc统计文件里面有多少行，多少单词，多少字符。wc语法：[root@www~]#wc[-lwm]选项与参数：-l：仅列出行；-w：仅列出多少字(英文单字)；-m：多少字符；默认使用wc统计/etc/passwd#wc/etc/passwd40451719/etc/passwd#40是行数，45是单词数，1719是字节数wc的命令比较简单使用，每..
分类：
其他好文 时间：
2015-05-03 14:44:00
阅读次数：
139
问题描述：输入一个单词列表，每行一个单词，统计单词出现的频率思路：主要是使用c++中的map容器。map实质上是一个二叉查找树，可以做到插入、删除、查询，平均查询时间在O（logn）。n为map中元素的个数，将字符串数据插入到map后，再用迭代器去访问map中的元素时，其实是按照map中插入的字符串...
分类：
其他好文 时间：
2015-01-27 18:06:42
阅读次数：
194
输入n个单词，统计各个单词出现的个数
#include
#include
#include
using namespace std;
int main()
{
map k;
string word;
while(cin>>word)
++k[word];
for(map::iterator i=k.begin();i!=k.end();i++)
cout<<(*i)....
分类：
其他好文 时间：
2015-01-12 09:22:23
阅读次数：
158
#!/usr/bin/env python import random # ‘abc..z‘ alphaStr = "".join(map(chr, range(97,123))) fp = open("word.txt", "w") maxIter = 100000 for i in range(maxIter): word = "" len =random.randint(1,5) fo...
分类：
编程语言 时间：
2014-12-23 22:45:42
阅读次数：
288
第一个参数iter是一个迭代器，涉及被map函数产生的键和值，它们是reduce实例。在本例中，单词随机被委托给不同的reduce实例，然后，要单词相同，处理它的reduce也相同，可确保最终合计是正确的。第二个参数params与map函数中一致，在此，仅简单使用disco.util.kvgroup()来提取每个单词统计计数，累计计数，yield(产生)结果。运行作业下面开始运行作业，可使用大量参...
分类：
其他好文 时间：
2014-12-19 00:41:47
阅读次数：
274
