参会人员：沈毅，陈洪杰，李玮，刘顺睿，牛涛，石勇，唐庆梅，杨磊，杨庆敏，杨英辉，冯舸，顾谊会议议程：数据采集配置文件统一接口定义zabbix脚本采集系统资源研讨上月反馈的几条需求并确定8月工作目标会议纪要： 1. 数据采集 1） 用zabbix部分脚本采集系统资源数据，输出数据中加入时间戳，数据采集 ...
分类：
其他好文 时间：
2016-08-03 18:19:41
阅读次数：
224
场景模拟 假设我们数据库中已经有了JD的SKU信息，没有SKU对应的店铺信息。这时我们需要重新完全采集所有的SKU数据吗？如果SKU是按月份分表存的看趋势，补爬的话历史数据就用不了了。因此，去京东页面上找看是否有提供相关的接口。 查找API请求接口 1. 安装 Fiddler, 并打开 2. 在谷歌 ...
分类：
Web程序 时间：
2016-08-03 09:02:19
阅读次数：
542
http://blog.csdn.net/jiangwei0910410003/article/details/52057543 一、前言 在视频直播中一般都是两种视频数据源，一个是摄像头数据，一个是录制桌面数据，而一般来说美女妹子直播都是来自于摄像头数据，游戏直播都是录制桌面数据的，那么今天就来看... ...
分类：
移动开发 时间：
2016-07-31 23:56:02
阅读次数：
222
构建一个智能的运维监控平台，必须以运行监控和故障报警这两个方面为重点，将所有业务系统中所涉及的网络资源、硬件资源、软件资源、数据库资源等纳入统一的运维监控平台中，并通过消除管理软件的差别，数据采集手段的差别，对各种不同的数据来源实现统一管理、统一规范、统一..
分类：
移动开发 时间：
2016-07-31 22:45:30
阅读次数：
245
Python爬虫总结（一）入门 很多做数据分析的同学会抱怨没有实际数据，感觉巧妇难为无米之炊，而火车头采集器一类的软件很难完成一些定制性很强的数据采集任务，这时候就需要自己编写爬虫来采集数据了。python是目前做爬虫比较流行的工具。 爬虫的一般原理 爬虫一般通过发送http/https请求，从服务 ...
分类：
编程语言 时间：
2016-07-30 12:06:32
阅读次数：
194
随着营销和商业化的需要，尤其是O2O领域，寻找电销的目标客户都是需要准备的工作，那么如何能快速找到联系方式？百度地图可能是目前已知数据最全，最大的数据中心。这里几乎包含了各行各业的数据商家数据，如医院、银行、KTV、美发等等各种数据。百度数据采集攻略：第一步：在..
分类：
其他好文 时间：
2016-07-29 19:34:27
阅读次数：
1040
TcpDump是Linux中强大的网络数据采集分析工具之一。根据使用者的定义对网络上的数据包进行截获的包分析工具。基本上tcpdump的总的输出格式为:系统时间来源主机.端口>目标主机.端口数据包参数下面举例说明：Tcpdumpsrchost192.168.0.1anddstportnottelnet过滤源主机192.168.0..
分类：
其他好文 时间：
2016-07-23 21:25:04
阅读次数：
248
前一篇文章写到我获取数据的方式不是通过分析HTML获得，而是通过分析请求链接，然后模拟请求方法获取数据，这只是一种方法。而且是在我通过分析HTML获取不到的情况下，曲线救国，参考别人文章实现的。很高兴，我实现了自己获取数据的目标。我以为这样就算结束了。可是，今天又发现了另外一种方法，而且是通过分析H ...
在做数据采集时经常要使用到curl+正则的方式采集需要的数据 根据自己的工作经验 把自己写的一些常用自定义函数 拿到博客园来分享 如果有写得不恰当的地方 请多多指教 这是一个系列 没办法在一两天写完 所以一篇一篇的发布 大致大纲： 1.curl数据采集系列之单页面采集函数get_html 2.cur ...
分类：
Web程序 时间：
2016-07-19 09:42:00
阅读次数：
155
1，引言注释：上一篇《Python爬虫实战（3）：安居客房产经纪人信息采集》，访问的网页是静态网页，有朋友模仿那个实战来采集动态加载豆瓣小组的网页，结果不成功。本篇是针对动态网页的数据采集编程实战。Python开源网络爬虫项目启动之初，我们就把网络爬虫分成两类：即时爬虫..
分类：
编程语言 时间：
2016-07-15 13:49:38
阅读次数：
470
