标签：des style http 使用 strong os
使用Scrapy这个python的网络爬虫框架抓取Scrapy中文文档
开发第一步：新建项目scrapy startproject myfirst
目录结构：
myfirst
│ scrapy.cfg Scrapy项目配置文件
│
└─myfirst Scrapy项目代码存放目录
│ items.py 存储从抓取的网页中需要保存的数据，再其中指定要存储的域
│ pipelines.py 管道文件，用于存储从抓取的网页中解析出的其他页面的url，相当于任务队列
│ settings.py 爬虫配置文件
│ __init__.py
│
└─spiders 存放爬虫定义的目录
__init__.py
编写items.py文件：
from scrapy.item import Item, Field
import sys
default_encoding = ‘cp936‘
if sys.getdefaultencoding() != default_encoding:
reload(sys)
sys.setdefaultencoding(default_encoding)
class DmozItem(Item):
title = Field()
link = Field()
desc = Field()
在items.py中，定义了三个Field用于指定我们要从抓取的网页数据中抽取的数据
编写爬虫程序myfirstSpider.py，在spiders目录下：
#encoding: utf-8
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.http import Request
from myfirst.items import MyfirstItem
import os
#设置默认编码
import sys
default_encoding = ‘cp936‘
if sys.getdefaultencoding() != default_encoding:
reload(sys)
sys.setdefaultencoding(default_encoding)
class ScrapyDocSpider(BaseSpider):
name = ‘ScrapyDoc‘ #设置爬虫的标识名
allowed_domains = [‘scrapy-chs.readthedocs.org‘] #指定爬虫在哪个域中抓取数据
start_urls = [‘http://scrapy-chs.readthedocs.org/zh_CN/latest‘] #设置爬虫抓取的入口url地址
def parse(self,response):
if response.url.split("/")[-1] == ‘‘:
filename = response.url.split("/")[-2]
else :
dirname = response.url.split("/")[-2]
#判断是否有此目录,如果没有就新建
if os.path.isdir(dirname) == False:
os.mkdir(dirname)
filename = ‘/‘.join(response.url.split("/")[-2:])
#保存文件
open(filename,‘wb‘).write(response.body)
sel = HtmlXPathSelector(response) #创建Html解析器
sites = sel.select(‘//li[@class="toctree-l1"]‘)
for site in sites:
item = MyfirstItem()
item[‘title‘] = site.select(‘a/text()‘).extract()
#生成连接 begin ,因为从页面提取的连接都是相对地址
link = site.select(‘a/@href‘).extract()[0]
url = response.url
#地址形式是否为 ../spiders.html 这种形式,需要回到上级地址
if link.split(‘/‘)[0] == ‘..‘:
url2 = ‘/‘.join(url.split(‘/‘)[0:-2]) + ‘/‘ + ‘/‘.join(link.split(‘/‘)[1:])
else:
url2 = ‘/‘.join(url.split(‘/‘)[0:-1]) + ‘/‘ + link
item[‘link‘] = [url2]
#生成连接 end
yield item
#返回多个request
yield Request(url=url2,callback=self.parse)
return
爬虫将从start_urls列表中的url开始，将每一个url封装成Request对象，并将parse方法作为回调函数，将返回的Response作为参数传入，response即返回的响应，其中包含了headers和body，headers即响应的头部信息，body即响应的正文信息（html静态页面或json\xml等。。）
在parse方法中即可以利用html/xml解析器通过xpath抓取特定节点的数据，存储到items.py中的指定field中
并将解析到的页面中的其他url转成request返回，交给spider，由spider存放到pipeline队列中scheduler的调度，继续抓取下一个页面
回到项目主目录，新建doc目录，切到doc目录，doc作为下载的文档存放目录
运行爬虫：
scrapy crawl ScrapyDoc
启动名为ScrapyDoc的爬虫。。。
开始抓取页面 。。。。。。
将从页面中解析的数据保存到item中
scrapy crawl ScrapyDoc -o myfirst.json -t json
最后items中定义的域中的数据将作为json数据存储到myfirst.json文件中
抓取scrapy中文文档 第一个Scrapy项目实现,布布扣,bubuko.com
标签：des style http 使用 strong os
原文地址：http://www.cnblogs.com/wuxinqiu/p/3854902.html
