一、十亿数据，轻松秒出实时监控领域有两个显著的特点，一是数据来源很多而且数据量大，有来自监控摄像头、GPS、智能设备等；二是需要实时处理。我们的客户在做实时处理时，就遇到这样的问题。客户的某个数据表中有10亿条记录，希望统计类查询的响应时间在30s以内，而使用单台MySQL的响应时间在300s以上。...
分类：
数据库 时间：
2015-09-09 21:00:32
阅读次数：
404
高速数据采集系统可对相机采集得到的实时图像进行传输、实时处理，同时实现视频采集卡和计算机之间的通信。系统连接相机的接口用的是Camera Link接口，通过Camera Link接口把实时图像高速传输到FPGA图像采集卡中进行数据实时处理，并通过PCI接口实现采集卡和计算机之间的通信。本文主要研究数据采集系统 Cam-era Link接口技术。 Camera Link是专门为数字摄像机的数据传输...
分类：
其他好文 时间：
2015-09-02 09:30:54
阅读次数：
186
现在有个实时抓包处理的程序，大概的流程是 使用tshark抓包->实时上传，如果写log的话是可以的，但是log文件切割需要定时执行。 由于log中有些内容需要实时处理，延迟时间会导致数据误差，所以想到用类似unix管道的方式，实时处理掉标准输出的内容处理，类似生产消费者模式。
场景解说简单的流程就是程序输出内容到stdout--> python pipe--> python 处理程序读取管道内的输...
分类：
编程语言 时间：
2015-08-31 23:42:09
阅读次数：
259
什么是Storm? Storm是twitter开源的一套实时数据处理框架，基于该框架你可以通过简单的编程来实现对数据流的实时处理变换。 Storm的配置文件一般存放在$STORM_HOME/conf下，通常名为storm.yaml，它符合yaml格式要...
分类：
其他好文 时间：
2015-08-15 20:10:04
阅读次数：
145
转载自http://www.tuicool.com/articles/NzyqAn在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它...
分类：
其他好文 时间：
2015-08-12 18:18:39
阅读次数：
134
关于CPU中央处理器调优CPU处理数据的方式：1.批处理,顺序处理请求.(切换次数少,吞吏量大)2.分时处理.(如同"独占",吞吏量小)(时间片，把请求分为一个一个的时间片，一片一片的分给CPU处理)我们现在使用x86就是这种架构3.实时处理.例：批处理——以前的大型机（Mainframe）上所采..
分类：
系统相关 时间：
2015-08-10 02:07:40
阅读次数：
266
import java.io.File;
import java.io.IOException;
import java.util.Collection;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import org.a...
分类：
其他好文 时间：
2015-08-07 23:58:52
阅读次数：
353
现在是2015年8月4日 在昨天这个时候我决定在自己电脑上搭建一个Nodejs Sharp环境，用于开发一个网站图片实时处理的程序。但是真的把这件事想简单了，以下是我的心路历程，希望能给阅读这篇博客的朋友一点帮助。#Vagrant运行Ubuntu# Nodejs Sharp（http://shar....
转载自http://www.ibm.com/developerworks/cn/opensource/os-twitterstorm/流式处理大数据简介Storm 是一个开源的、大数据处理系统，与其他系统不同，它旨在用于分布式实时处理且与语言无关。了解 Twitter Storm、它的架构，以及批处...
分类：
其他好文 时间：
2015-07-28 20:16:33
阅读次数：
120
Java 8 Stream API详解一、Stream API介绍Java 8引入了全新的Stream API，此Stream与Java I/O包里的InputStream和OutputStream是完全不同的概念，它不同于StAX对XML解析的Stream，也不同于Amazon Kinesis对大数据实时处理的Stream。Stream API更像具有Iterable的集合类，但行为和集合类又有所...
分类：
编程语言 时间：
2015-07-24 12:51:24
阅读次数：
190
