爬虫scrapy

标签：静态   win   shell   运行   爬虫   爬取   之间   示例   开发   

嘛本来今天是要开发分布式爬虫的，
然而悲伤的发现，还要先学scrapy,
so，我就先熟悉一下scrapy咯

windous好烦，很多开发都不太支持，要买个Linux主机

目的：scrapy 静态爬虫
过程：windous下先完成安装环境
在终端运行，scrapy shell url

筛选数据
用到火狐的firebug
response.xpath().extract()
/text()
//*[@id=‘puid-2657983011‘]/dl/dd[5]/div[1]/span[1]
.//*[@id=‘puid-2657983011‘]/dl/dd[5]/div[1]/span[1]/text()
.//div[@class=‘f-list-item‘]/dl/dd[5]/div[1]/span[1]/text()
.//div[@class=‘f-list-item ‘]/dl/dd[1]/a/text()
几个筛选示例
总结：嘛简单的静态爬爬取做到了，和昨天的方式还是不太一样的

之间知道了ipython zip（）
还可以吧，明天开始进行scrapy框架内的学习
PS：妈蛋我一定要用双系统，入Linux的坑

爬虫scrapy

标签：静态   win   shell   运行   爬虫   爬取   之间   示例   开发   

原文地址：http://www.cnblogs.com/17storyteller/p/6832108.html