1、准备工作2、一个Storm集群的基本组件3、Topologies4、Stream5、数据模型(Data Model)6、一个简单的Topology7、流分组策略(Stream grouping)8、使用别的语言来定义Bolt9、可靠的消息处理10、单机版安装指南本文翻译自：https://git...
分类：
其他好文 时间：
2014-11-18 13:09:04
阅读次数：
216
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系...
分类：
Web程序 时间：
2014-11-18 11:44:44
阅读次数：
312
这几天学习公司系统的数据流向。主要涉及到几个表的数据。但是表中的数据有上百万条，所以如果出现sql语句没有带条件的，会导致查询卡死，甚至出现内存溢出的情况。公司用到的数据库是sqlserver，所以下列的sql语句主要是针对sqlserver数据库的，其他数据库大同小异。...
分类：
数据库 时间：
2014-11-17 22:50:58
阅读次数：
247
OpenCV中有自己的用于处理图片和视频的类，可以很方便的读入文件和显示。
现在视频数据流是ffmpeg解码h264文件得到的，由于要依赖该数据源进行相应的后续处理，所以需要将ffmpeg中得到的数据缓存转换成可以被OpenCV处理的Mat类对象。...
分类：
其他好文 时间：
2014-11-17 17:45:46
阅读次数：
293
做应用识别这一块经常要对应用产生的数据流量进行分析。抓包采用wireshark，提取特征时，要对session进行过滤，找到关键的stream，这里总结了wireshark过滤的基本语法，供自己以后参考。（脑子记不住东西）wireshark进行过滤时，按照过滤的语法可分为协议过滤和内容过滤。对标准协...
分类：
其他好文 时间：
2014-11-17 17:10:25
阅读次数：
159
软考经过两个多月的复习，终于于上周完美收官。虽然考试结束了，但对知识的学习不会停止。现总结一下下午题--数据流图。
一、题目信息
◆题目位置：第一题
◆重要程度：★★★★★
◆主要考试内容：
○补充外部实体
○找出...
分类：
其他好文 时间：
2014-11-15 21:52:20
阅读次数：
345
1.大端字节序，即低地址高字节TCP/IP协议规定,网络数据流应采用大端字节序,即低地址高字节。例如上一节的UDP段格式,地址0-1是16位的源端口号,如果这个端口号是1000(0x3e8),则地址0是0x03,地址1是0xe8,也就是先发0x03,再发0xe8,这16位在发送主机的缓冲区中也应该是...
分类：
系统相关 时间：
2014-11-15 15:27:25
阅读次数：
169
理解流量监管中的CAR工具、单双桶及欠偿机制、CAR配置及经验流量监管同样使用令牌桶（单桶或者双桶）算法，现在来介绍一个典型的流量监管工具CAR（committedaccessrate）承诺访问速率，CAR的工作目标是判断数据流量是否匹配或者超过认购流量（合同流量也叫CIR），能对匹配认购..
分类：
其他好文 时间：
2014-11-14 15:57:01
阅读次数：
325
数据流图的画法数据流图也称为数据流程图date flow diagram , DFD，是一种便于用户理解和分析系统数据流程的图形工具，他摆脱了系统和详细内容，精确的在逻辑上描写叙述系统的功能、输入、输出和数据存储等，是系统逻辑模型的重要组成部分。数据流图的基本组成成分数据流：是由一组固定成分的数据组...
分类：
其他好文 时间：
2014-11-13 20:45:20
阅读次数：
285
理解流量监管和整形的关键算法—令牌桶无论是流量监管还是流量整形都提到一个超额流量的问题，而前面已经描述了监管和整形对超额流量的处理方式不同，监管丢弃或者重标记，流量整形是缓存，通过加大延迟的方式发送平滑的数据流量，那么网络设备怎么去确定这个超额流量，难道链..
分类：
编程语言 时间：
2014-11-13 19:10:33
阅读次数：
452
