学会掌握：通过学习火车头采集器高级教程可以满足大部分站长对于网站采集的需求，本课程教授您火车头采集器在各种文字、视频、音频、彩票、图片网站的采集方法以及火车头采集器发布模块的制作思路和方法。 本课程会随着市面上.. 适合人群：具有一定网站知识基础的网站编辑、网络营销从业者，电话营销从业者、SEOER ...
分类：
其他好文 时间：
2020-05-04 00:46:53
阅读次数：
435
先是进行了操作系统的复习整理 后是使用后羿采集器进行数据爬取 ...
分类：
其他好文 时间：
2020-05-03 16:47:10
阅读次数：
56
Filebeat介绍 Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命 ...
分类：
其他好文 时间：
2020-04-20 01:30:15
阅读次数：
103
# UA:User-Agent(请求载体的身份标识） # UA 检测： 门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一浏览器 #说明该请求是一个正常的请求。否则为不正常的请求（爬虫），则服务器有可能拒绝 # UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器 ...
分类：
Web程序 时间：
2020-04-13 16:49:31
阅读次数：
88
requests模块 爬虫中一个基于网络请求的模块 pip install requests 作用：模拟浏览器发起请求 编码流程： 1 . 指定url 2 . 发起请求 3 . 获取响应数据（爬取到的页面源码数据） 4 . 进行持久化存储 简单例子： 实现一个简易网页采集器 基于搜狗针对指定不同的关 ...
分类：
其他好文 时间：
2020-04-12 20:19:35
阅读次数：
78
1、集群状态查看通过这两个界面可以看出1.1如果heap红色,会导致界面查询比较慢.通常是打开了比较多的索引,可以在企业版的日志策略中打开自动关闭索引的功能,通常是打开7天的索引,可以根据具体内存情况多打开几天,比如10天或者15天,不能太多.1.2.如果cpu和load红色,会导致界面查询慢,写入也慢,对采集器的影响尤其明显,采集器的日志中会出现超时或者bulkreject错误.可能原因如下:a
分类：
其他好文 时间：
2020-03-30 17:57:37
阅读次数：
89
[toc] 前言 之前写过一篇文章 "Zabbix设置自定义监控项之——监控tcp连接状态" 。 最近完善了一点东西，也算是对第一个版本的升级。 升级的内容： 1. 脚本通过 实现。 2. 监控项类型为 采集器，使用 进行发送数据到服务端。 3. 增加了一个触发器，对 close_wait 状态的预 ...
分类：
编程语言 时间：
2020-03-14 16:58:19
阅读次数：
67
网络流量分析利器-可视化网络-netflow【1】-基础原理网络流量分析利器-可视化网络-netflow【2】-CiscoNetFlow工作原理介绍及配置网络流量分析利器-可视化网络-netflow【3】-netflow版本5和版本9区别网络流量分析利器-可视化网络-netflow【4】-接收器nfdump简介网络流量分析利器-可视化网络-netflow【5】-linux下数据采集器fprobe网
分类：
Web程序 时间：
2020-03-12 19:06:55
阅读次数：
93
网络流量分析利器-可视化网络-netflow【1】-基础原理网络流量分析利器-可视化网络-netflow【2】-CiscoNetFlow工作原理介绍及配置网络流量分析利器-可视化网络-netflow【3】-netflow版本5和版本9区别网络流量分析利器-可视化网络-netflow【4】-接收器nfdump简介网络流量分析利器-可视化网络-netflow【5】-linux下数据采集器fprobe网
分类：
Web程序 时间：
2020-03-01 00:57:05
阅读次数：
118
当做网站有一个站要用到WEB网页采集器功能，当一个PHP脚本在请求URL的时候，可能这个被请求的网页非常慢慢，超过了mysql的 wait-timeout时间，然后当网页内容被抓回来后，准备插入到MySQL的时候，发现MySQL的连接超时关闭了，于是就出现了“MySQL server has gon ...
分类：
数据库 时间：
2020-01-09 18:39:07
阅读次数：
95
