上一节介绍了config的相关信息,这一节说下如何创建一个KafkaSpout而已...
分类:
Web程序 时间:
2014-11-08 15:19:01
阅读次数:
311
storm实时处理实例设计方案,为初学者提供一个相对容易理解的实例。...
分类:
其他好文 时间:
2014-11-06 22:03:30
阅读次数:
241
随着数字电路技术的发展,数字锁相环在调制解调、频率合成、FM 立体声解码、彩色副载波同步、图象处理等各个方面得到了广泛的应用。数字锁相环不仅吸收了数字电路可靠性高、体积小、价格低等优点,还解决了模拟锁相环的直流零点漂移、器件饱和及易受电源和环境温度变化等缺点,此外还具有对离散样值的实时处理能力,已成...
分类:
其他好文 时间:
2014-11-06 12:30:16
阅读次数:
1655
Storm应用场景Twitter列举了Storm的三大类应用:1.信息流处理{Streamprocessing}Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。2.连续计算{Continuouscomputation}Storm可进行连续查询并把结果即时反馈给客户端。比如把Twit...
分类:
其他好文 时间:
2014-10-19 18:36:50
阅读次数:
292
在过去几年,你在腾讯做了什么来推动大数据的应用?
过去三年,我一直在坚持一件事:推动大数据的实时应用。现在从国外数据中心的数据,一秒钟可以达到深圳数据中心,这就是腾讯具备的数据能力。有了这个能力,就可以做很多商业化行为的模式。
目前腾讯收集的数据已经超过了1万亿条, 计算机规模已经超过了8千8百台。这么庞大的数据如果能实时处理,就能发挥出巨大的商业价值。这个商业价值就是精准推荐...
分类:
其他好文 时间:
2014-10-16 14:04:12
阅读次数:
260
kafka概念:
kafka是一个高吞吐量的流式分布式消息系统,用来处理活动流数据,比如网页的访问量pm,日志等,既能够实时处理大数据信息
也能离线处理。
特点:
1.高吞吐量
2.是一种显式的分布式系统,它假设,数据生产者(producer),代理(brokers)和数据使用者(consum...
分类:
其他好文 时间:
2014-09-29 20:09:12
阅读次数:
196
1.Storm是什么:Storm简单来说,就是分布式实时计算系统。按照storm作者的说法,storm对于实时计算的意义类似于hadoop对于批处理的意义。2.Storm的主要特点:1.简单的编程模型。类似于MapReduce降低了并行批处理复杂性,Storm降低了进行实时处理的复杂性。2.可以使用各种编程语..
分类:
其他好文 时间:
2014-09-29 20:00:11
阅读次数:
225
计算机中断
(一)中断是指CPU在运行时接收到硬件发出的请求,CPU保存当前进程的相关信息,然后处理这个请求,根据中断类型号找到中断向量,执行相应的中断程序,然后恢复之前的进程信息,继续执行之前的进程。
中断系统作用:1.故障检测和自动处理 程序执行出现异常如溢出可以通过中断处理
2.实时信息处理实时信息处理中需要对信息做实时处理,采用中断可以完成
3.并行操作 多个外部设备可以与C...
分类:
其他好文 时间:
2014-09-12 10:15:23
阅读次数:
200
这几天一直在弄动态库测试,h给的写好的动态库--预处理模块的库。视频处理项目一部分,需要连接实际情况测试。需求: 1.把实际相机连接到,并读取实时数据流,保存到双循环链表里面; 2.测试背景建模的功能效果; 3.预处理四个数据(图像)显示结果; 4.测试实时处理多摄像头效果显示。 前几...
分类:
其他好文 时间:
2014-08-16 12:29:30
阅读次数:
191
eDMA是enhanced Direct Memory Access的简称,即增强型直接内存存取。它是用于快速数据交换的重要技术,具有独立于CPU的后台批量数据传输能力,能够满足实时处理中高速数据传输的要求。在ColdFire系列MCU中的MCF5329EVB平台上实现的音频系统,为了满足系统的实时...
分类:
其他好文 时间:
2014-08-04 10:33:46
阅读次数:
235