1.scrapy+redis使用 (1)应用 这里redis与scrapy一起,scrapy作为crawler，而redis作为scrapy的调度器。如架构图中的②所示。图1 架构图 (2)为什么选择redis redis作为调度器的实现仍然和其特性相关，可见《一淘搜索之网页抓取系统分析与实现（1） ...
分类：
Web程序 时间：
2017-03-05 12:33:33
阅读次数：
228
1. 目标：开发轻量级爬虫（不包括需登陆的 和 Javascript异步加载的） 不需要登陆的静态网页抓取 2. 内容： 2.1 爬虫简介 2.2 简单爬虫架构 2.3 URL管理器 2.4 网页下载器（urllib2） 2.5 网页解析器（BeautifulSoup） 2.6 完整实例：爬取百度百 ...
分类：
编程语言 时间：
2017-02-14 13:25:23
阅读次数：
313
CasperJS is a navigation scripting & testing utility for the PhantomJS (WebKit) and SlimerJS (Gecko) headless browsers, written in Javascript. Phantom... ...
分类：
Web程序 时间：
2017-01-22 23:39:48
阅读次数：
820
最近做了挺多从不同的网页抓取数据的工作，重复多了之后，有了重构的想法，使用的语言是java。 1. 以前的做法： 因为是一个功能性程序，所以把它当做了过称式程序，没有建立特别的类： 而一些变量值也写死在程序中： 用于获取时间的getBoardList()函数内部，通过正则表达式和遍历比较取出数据，返 ...
分类：
其他好文 时间：
2017-01-17 19:50:49
阅读次数：
195
原文链接： http://www.cnblogs.com/fnng/archive/2013/05/29/3106515.html 1.起因：在网页抓取的过程中，有些内容是通过js加载的，但是直接抓取是抓取不到的 2.selenium+python 映入眼帘 3.selenium 是一个web的自动 ...
分类：
编程语言 时间：
2017-01-12 08:13:03
阅读次数：
194
网页访问常用到库： requests（网页请求） BeautifulSoup（从网页抓取数据） selenium（模拟浏览器行为） PhantomJS（虚拟浏览器） 定时爬取数据： 断线重连解决方法： 引入新函数reloading（） ...
分类：
编程语言 时间：
2017-01-01 07:39:53
阅读次数：
204
在进行网页抓取的时候，分析定位html节点是获取抓取信息的关键，目前我用的是lxml模块(用来分析XML文档结构的，当然也能分析html结构)， 利用其lxml.html的xpath对html进行分析，获取抓取信息;以下是关于xpath的一些基本用法: 在介绍XPath的匹配规则之前，我们先来看一些 ...
分类：
其他好文 时间：
2016-12-17 19:36:56
阅读次数：
191
C:\Python33\python.exe C:/pythonHtmlParse/zhuaqu.py团建活动之忆童年闭包的总结(干货1)Jetty源码学习-编译Jetty源码二三事Cesium原理篇：Property前端制作动画的几种方式（css3，js）SQL Server-聚焦INNER JO ...
分类：
编程语言 时间：
2016-12-10 14:00:20
阅读次数：
177
本章主要讲的是搜索引擎的优化，包括提高搜索效率（云存储、缓存机制）、提高搜索质量（网页去重、用户搜索意图识别、网页反作弊）及搜索的发展方向。这三个方面是在网页抓取&搜索排序的基础上发展起来的。
分类：
其他好文 时间：
2016-08-29 19:38:44
阅读次数：
256
一、网络爬虫 网络爬虫又被称为网络蜘蛛（🕷?），我们可以把互联网想象成一个蜘蛛网，每一个网站都是一个节点，我们可以使用一只蜘蛛去各个网页抓取我们想要的资源。举一个最简单的例子，你在百度和谷歌中输入‘Python'，会有大量和Python相关的网页被检索出来，百度和谷歌是如何从海量的网页中检索出你想 ...
分类：
编程语言 时间：
2016-08-15 12:48:10
阅读次数：
279
