一、需求： 1.数据抓取：目标数据的下载、解析、入库功能。 2.数据服务：黑名单、灰名单等查询服务。 3.平台监控：平台各个模块的数据实时监控。 二、WEB端效果展示： 三、架构设计 下载器、解析器、持久器、调度器都支持独立部署，可横向拓展部署多台服务。解耦。下载器内部开启多线程下载；解析器从待解析 ...
分类：
其他好文 时间：
2016-10-09 10:57:26
阅读次数：
138
最近尝试使用Scrapy进行数据抓取，并尝试在windows7 64位系统上安装scrapy，下面总结记录遇到两个问题和解决方法： scrapy官网的地址为：http://scrapy.org/ 1、首先按照官网的说明，直接pip安装scrapy，报以下错误，提示缺少VC++9.0，报错信息有给出具 ...
分类：
其他好文 时间：
2016-09-26 00:57:04
阅读次数：
242
前面的教程说了，数据抓取完毕之后，数据以xml格式的形式存储在本地文件夹中。下面简单地说一下如何将保存在本地的XML文件转成Excel格式。 ...
分类：
其他好文 时间：
2016-09-13 16:14:26
阅读次数：
100
在做项目的时候，有一个增强是需要把两个列从一个表迁移到另一个表，在做正式的迁移之前需要对原始数据进行备份，备份的实现也比较简单，就是把数据从数据库中读出来然后写到CSV文件中，主键以及列与列之间用分号分隔。我count了一下，总共是有559行数据，数据量其实挺小，之前的实现并没有使用多线程并发取数据 ...
分类：
其他好文 时间：
2016-09-01 13:06:35
阅读次数：
160
数据格式：cmt_id: 影评ID编号， 主键cmt_cont: 未切割影评数据（原始影评数据）cmt_star: 评分（星数）cmt_time: 发布时间cmt_user: 发布者urlcmt_thumbs: 评论点赞数 评论星数评论星数在html网页dom结构中对应的标签：<span class ...
分类：
其他好文 时间：
2016-08-17 12:14:53
阅读次数：
669
我们经常会发现网页中的许多数据并不是写死在HTML中的，而是通过js动态载入的。所以也就引出了什么是动态数据的概念， 动态数据在这里指的是网页中由Javascript动态生成的页面内容，是在页面加载到浏览器后动态生成的，而之前并没有的。 在编写爬虫进行网页数据抓取的时候，经常会遇到这种需要动态加载数 ...
分类：
编程语言 时间：
2016-08-05 13:54:03
阅读次数：
309
C# 抓取网页内容（转) 1、抓取一般内容 需要三个类：WebRequest、WebResponse、StreamReader 所需命名空间：System.Net、System.IO 核心代码： WebRequest 类的 Create 为静态方法，参数为要抓取的网页的网址； Encoding 指定 ...
分类：
Web程序 时间：
2016-08-01 19:38:20
阅读次数：
260
通过程序自动的读取其它网站网页显示的信息，类似于爬虫程序。比方说我们有一个系统，要提取BaiDu网站上歌曲搜索排名。分析系统在根据得到的数据进行数据分析。为业务提供参考数据。 为了完成以上的需求，我们就需要模拟浏览器浏览网页，得到页面的数据在进行分析，最后把分析的结构，即整理好的数据写入数据库。那么 ...
分类：
Web程序 时间：
2016-08-01 19:17:02
阅读次数：
191
项目主管说这是项目中的一个亮点(无语...)， 类似于爬虫一类的东西，模拟登陆后台系统，获取需要的数据。然后就开始研究这个。 之前有一些数据抓取的经验，抓取流程无非：设置参数->服务端发送请求->解析结果 1、验证码识别 系统的验证码只包含数字，不复杂，所以没有深入研究。 http://www.cn ...
PHP版本：5.5.30 服务器：apche 抓取网站地址：http://nc.mofcom.gov.cn/channel/gxdj/jghq/jg_list.shtml 抓取目标：获取当日的价格数据 一、准备工作： 1.打开php.ini配置文件，开启curl功能扩展 extension=php_ ...
分类：
Web程序 时间：
2016-07-20 11:50:37
阅读次数：
282
