一、Redis基础部分:1、redis介绍与安装比mysql快10倍以上*****************redis适用场合****************1.取最新N个数据的操作2.排行榜应用,取TOPN操作3.需要精确设定过期时间的应用4.计数器应用5.Uniq操作,获取某段时间所有数据排重值6...
分类：
其他好文 时间：
2014-09-09 12:00:38
阅读次数：
159
如果topN 设置为1000万 ，不会这1000万都放到QueueFeeder（内存）中，而是从文件系统中（hdfs）中迭代不断填充QueueFeeder。队列中默认存放 threadcount * 50 。 这个类的作用是从文件系统读文件填充队列。/** * This class fee...
分类：
其他好文 时间：
2014-09-06 02:13:22
阅读次数：
291
阅读背景： ? ?1 ： 您需要对滑动窗口要初步了解 ? ?2 ?: ? 您需要了解滑动窗口在滑动的过程之中，滑动chunk的计算过程，尤其是每发射一次，就需要清空一次。 package?com.cc.storm.bolt;
import?java....
分类：
其他好文 时间：
2014-09-03 19:58:17
阅读次数：
289
第一个Spider是抓上海的城市id，顺带抓它的下一级行政区id。
第二个Spider是抓上海的Top一万家餐厅的Shopid。
本文是第三个Spider，根据一个餐厅的Shopid，抓取它在某个月内的全部评论。
三个Spider的累加效果，就是抓取任意一个城市的TopN家餐厅的全部评论。第三个Spider修改一下，还可以做到只抓取某天的评论，只抓取某人的评论，从抓取的角度看就全...
分类：
Web程序 时间：
2014-08-07 19:01:50
阅读次数：
349
在项目中大量使用zincrby命令，原因就是要统计日志中某个指标的计数值，且需要按顺序返回topn。
正常来说，一个指标调用一次zincrby（zincrby default:type 1 typeA) 就可以正常工作。
实际情况是由于日志生成的太快，redis cpu利用率经常100%，而且还丢数据。
是否可以一次性增加多次指标的累计值，比如zincrby default:type 1 t...
分类：
其他好文 时间：
2014-07-16 16:43:55
阅读次数：
333
1 概述
该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。
2 为什么要使用MapReduce
Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不...
分类：
其他好文 时间：
2014-07-12 21:31:22
阅读次数：
296
一、Redis基础部分:1、redis介绍与安装比mysql快10倍以上*****************redis适用场合****************1.取最新N个数据的操作2.排行榜应用,取TOPN操作3.需要精确设定过期时间的应用4.计数器应用5.Uniq操作,获取某段时间所有数据排重值6...
分类：
其他好文 时间：
2014-06-14 22:45:48
阅读次数：
478
