网络分流器的应用领域（1）网络监控：网络分流器用于网络监控前端，在网监领域所需要的链路层协议转换、协议精细过滤、大流量交换、复杂分流、动态IP地址监控等需求，并在产品中加以突破和应用，通过固网网络分流器、3G/LTE网络分流器和智能网卡等产品有效降低还原集群的应用还原、内容处理等方面的负载，提高整体系统的核心竞争力。（2）技术侦察：技侦领域要求的链路一般不超过10G，但是要满足各种接入方式，要有更
分类：
其他好文 时间：
2018-07-25 16:08:43
阅读次数：
189
这几天由于业务需要接触到了数据采集，用的是火车采集器，官网：http://www.locoy.com/baidu/index?baidu。 这里以8.0版本作演示，闲话就不多说了，首先，你看到的界面是这样的： 当然，第一次使用的话，左边这些列表是没有的，这是项目需要自建的任务列表。那么，现在从头开始 ...
分类：
其他好文 时间：
2018-07-07 13:44:37
阅读次数：
235
前言： 根据天文地理与风水学，我掐指一算的看到了一篇不错的文章，文章里面写到整理exploit 我顿时心理想写一个exploit采集器，那么说时迟那时快。就开始写了 代码： 思路：http://expku.com，观察URL的变化 效果： 爬下来的exploit保存： 用于搜索： Github下载地 ...
分类：
编程语言 时间：
2018-07-01 13:40:45
阅读次数：
203
Module xm_json Module xm_charconv AutodetectCharsets GBK #自动检测GBK字符集 并在input中定义 Module xm_multiline #多行匹配 HeaderLine /^\d+-\w+-\d+/ #行首匹配 ... ...
需求：生产上有台mysql服务器每天以定时任务方式用mysqldump命令进行数据库逻辑备份，定时任务执行时间为23:30，备份时长5分钟左右，生成的备份文件命名方式为‘mysql-$(date+%Y-%m-%d).sql’，大小3G左右，备份文件保留3份，即执行完mysqldump命令后对大前天备份文件进行删除操作，现要对备份文件进行检查监控。定时任务方式1.模拟生产备份文件[root@zabb
分类：
移动开发 时间：
2018-06-01 18:14:07
阅读次数：
269
今日头条的数据都是ajax加载显示的，按照正常的url是抓取不到数据的，需要分析出加载出址，我们以https://www.toutiao.com/search/?keyword=%E6%96%B0%E9%97%BB为例来采集列表的文章用谷歌浏览器打开链接，右键点击“审查”在控制台切换至network并点击XHR，这样就可以过滤图片、文件等等不必要的请求只看页面内容的请求由于页面是ajax加载的，所
分类：
Web程序 时间：
2018-05-07 23:50:44
阅读次数：
441
有些时候，一个系统调用可能无法马上取到或者送出数据：一个温度采集器如果没有采用中断或者轮询的策略，而是在用户发出请求时才进行采集，并在一定的时间后返回结果。如果用户程序希望调用read或write并且在调用返回时能确保得到想要的结果，那么用户程序应该阻塞，直到有结果或者错误后返回，用户程序的阻塞体现 ...
分类：
其他好文 时间：
2018-04-25 16:58:41
阅读次数：
161
算法（一）已经介绍了一种小面积指纹识别算法可选的方案，是一种经典的方案，对于面积足够大且level2特征高于最小限制时，为一种低内存占用，快速的实现方法。但在某些应用场中中（比如终端中，要求占用面积较小，且面积小意味着更低的成本），如果采集器面积进一步缩小，比如采集图像500dpi下像素在100x6 ...
分类：
编程语言 时间：
2018-03-23 14:08:44
阅读次数：
279
主要filebeat配置：#采集器filebeat.prospectors:input_type:logpaths:/var/log/rsyncd.loginput_type:logpaths:/var/log/messagesfields:syslog:messagesfields_under_root:true#输出到es配置output.elasticsearch:hosts:["
分类：
其他好文 时间：
2018-03-16 19:36:59
阅读次数：
644
Octoparse是国内盛行的数据采集器八爪鱼的小弟
无需编码，简单易懂的数据采集器，还能采集到国外被ban网站的数据。
分类：
Web程序 时间：
2017-11-21 19:04:19
阅读次数：
2921
