Apache Kafka®是一个分布式流处理平台，它到底是什么呢？ 具有三个关键能力的流处理平台： 发布和订阅记录流，类似于消息队列或企业消息传递系统 以容错的持久方式存储记录流 在流生成的时候进行流的处理 Kafka通常有两大类应用： 用于构建可靠地获取系统或应用之间的数据的实时数据流管道 用于构 ...
分类：
其他好文 时间：
2019-01-31 23:42:15
阅读次数：
239
相关参考资料： https://drive.wps.cn/view/l/sc9m948 https://edp963.github.io/wormhole/index.html ...
分类：
其他好文 时间：
2019-01-31 13:26:13
阅读次数：
125
agent选择 agent1 exec source + memory channel + avro sink agent2 avro source + memory channel 模拟实际工作中的场景，agent1 为A机器，agent2 为B机器。 avro source: 监听avro端口， ...
分类：
Web程序 时间：
2019-01-27 14:37:21
阅读次数：
239
摘要snort是一个强大的轻量级的网络入侵检测系统。它具有实时数据流量分析和日志IP网络数据包的能力，能够进行协议分析，对内容进行搜索/匹配。它能够检测各种不同的攻击方式，对攻击进行实时报警。此外，snort具有很好的扩展性和可移植性。本文将讲述如何开发snort规则。(2002-07-09 1 ...
分类：
其他好文 时间：
2019-01-21 21:01:55
阅读次数：
176
1、传输的数据格式 1.1、现在的格式 是 Def 和 Data 对应，并且 Def中 "唯一标志"字符串是 固定80字节的长度，我今天观察了一下 貌似比较浪费空间。 且 主网中 每个P/Q/I/U 都要 对应一个 Def，一组 P&Q&I&U 就要有4个 Def，很浪费空间。 配网 的话，一组P& ...
分类：
其他好文 时间：
2019-01-16 22:44:12
阅读次数：
173
每一天，每一小时，每一分钟，每一秒互联网的数据都在不停的发生着变化，如果爬虫想要获取实时数据，也要跟随网络节奏不断的进行更新，那么这里犀牛就为大家说说，关于网页更新的问题，爬虫请添加链接描述是如何应对的？应对方法第一条，把以往的数据作为参考说的文雅一些就是“历史记录”，依据网页页面过去的历史更新数据，预测和分析网页页面的变动时机。通常情况下，是通过泊松过程进行建模进行预测。爬虫怎么应对网页更新问题
分类：
Web程序 时间：
2019-01-16 18:04:48
阅读次数：
242
可视化项目中经常用到ecahrt，各种异步加载，连接socket，多语言切换等问题，现在汇总一下： Ecahrt初始化，全局统一init，可以初始化为0，等待后续数据操作 1、如果是api重新请求，数据手动获取这种方式，直接setOption; 2、 如果是socket实时数据传输展示，直接setO ...
分类：
编程语言 时间：
2019-01-16 11:46:00
阅读次数：
350
部分一：Srorm 简介 1.1 Storm是实时的数据流，Hadoop是批量离线数据 起源背景 Twitter 开源的一个类似于Hadoop的实时数据处理框架 Storm是由Nathan Marz 在BackType公司【做社交数据分析，数据量大】工作中实现的，这家公司后来被Twitter收购。 ...
分类：
其他好文 时间：
2019-01-12 21:53:03
阅读次数：
225
Http环境本身是一种无连接状态的架构，在这种架构下服务器只能是被动的接受客户端的请求，返回结果，而无法主动的给客户端发送数据。而在很多需要实时数据交互（比如Web IM)的场景中，我们却希望能及时得到服务器给我们返回的数据。此时，一种最为普遍的做法是：在客户端用定时器，定时去请求服务器的服务，来得 ...
分类：
Web程序 时间：
2019-01-07 20:56:41
阅读次数：
241
最近项目有一个空气检测仪，需要得到空气检测仪的实时数据，保存到数据库当中。根据了解得到，硬件是通过rs485进行串口通讯的，需要发送16进制命令给仪器，然后通过轮询来得到数据。 需要先要下载RXTX的jar包，win64位下载地址：http://pan.baidu.com/s/1o6zLmTc）；将 ...
分类：
编程语言 时间：
2019-01-06 01:09:29
阅读次数：
231
