Scrapy框架的基本组成及功能使用

 1 project_name/
 2    scrapy.cfg：
 3    project_name/
 4        __init__.py
 5        items.py
 6        pipelines.py
 7        settings.py
 8        spiders/
 9            __init__.py
　　　　　　　　 应用名称.py
10 
11 scrapy.cfg   项目的主配置信息。（真正爬虫相关的配置信息在settings.py文件中）
12 items.py     设置数据存储模板，用于结构化数据，如：Django的Model
13 pipelines    数据持久化处理
14 settings.py  配置文件，如：递归的层数、并发数，延迟下载等
15 spiders      爬虫目录，如：创建文件，编写爬虫解析规则

 1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 
 4 class QiubaiSpider(scrapy.Spider):
 5     name = ‘qiubai‘ #应用名称
 6     #允许爬取的域名（如果遇到非该域名的url则爬取不到数据）
 7     allowed_domains = [‘https://www.qiushibaike.com/‘]
 8     #起始爬取的url
 9     start_urls = [‘https://www.qiushibaike.com/‘]
10 
11      #访问起始URL并获取结果后的回调函数，该函数的response参数就是向起始的url发送请求后，获取的响应对象.该函数返回值必须为可迭代对象或者NUll 
12      def parse(self, response):
13         print(response.text) #获取字符串类型的响应内容
14         print(response.content)#获取字节类型的相应内容

修改内容及其结果如下：
19行：USER_AGENT = ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36‘ #伪装请求载体身份

22行：ROBOTSTXT_OBEY = False  #可以忽略或者不遵守robots协议 ==》防君子不防小人协议 需要改为False，不需要遵守协议

 1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 
 4 class QiubaiSpider(scrapy.Spider):
 5     name = ‘qiubai‘
 6     allowed_domains = [‘https://www.qiushibaike.com/‘]
 7     start_urls = [‘https://www.qiushibaike.com/‘]
 8 
 9     def parse(self, response):
10         #xpath为response中的方法，可以将xpath表达式直接作用于该函数中
11         odiv = response.xpath(‘//div[@id="content-left"]/div‘)
12         content_list = [] #用于存储解析到的数据
13         for div in odiv:
14             #xpath函数返回的为列表，列表中存放的数据为Selector类型的数据。我们解析到的内容被封装在了Selector对象中，需要调用extract()函数将解析的内容从Selecor中取出。
15             author = div.xpath(‘.//div[@class="author clearfix"]/a/h2/text()‘)[0].extract()
16             content=div.xpath(‘.//div[@class="content"]/span/text()‘)[0].extract()
17 
18             #将解析到的内容封装到字典中
19             dic={
20                 ‘作者‘:author,
21                 ‘内容‘:content
22             }
23             #将数据存储到content_list这个列表中
24             content_list.append(dic)
25 
26         return content_list

 1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 
 4 
 5 class QiubaiSpider(scrapy.Spider):
 6     name = ‘qiubai‘
 7     allowed_domains = [‘https://www.qiushibaike.com/‘]
 8     start_urls = [‘https://www.qiushibaike.com/‘]
 9 
10     def parse(self, response):
11         #xpath为response中的方法，可以将xpath表达式直接作用于该函数中
12         odiv = response.xpath(‘//div[@id="content-left"]/div‘)
13         with open(‘./data.txt‘, ‘w‘) as fp:
14             for div in odiv:
15                  #xpath函数返回的为列表，列表中存放的数据为Selector类型的数据。我们解析到的内容被封装在了Selector对象中，需要调用extract()函数将解析的内容从Selecor中取出。
16                  author = div.xpath(‘.//div[@class="author clearfix"]/a/h2/text()‘)[0].extract()
17                  content=div.xpath(‘.//div[@class="content"]/span/text()‘)[0].extract()
18                  #持久化存储爬取到的内容
19                  fp.write(author + ‘:‘ + content + ‘\n‘)

 1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 from secondblood.items import SecondbloodItem
 4 
 5 class QiubaidemoSpider(scrapy.Spider):
 6     name = ‘qiubaiDemo‘
 7     allowed_domains = [‘www.qiushibaike.com‘]
 8     start_urls = [‘http://www.qiushibaike.com/‘]
 9 
10     def parse(self, response):
11         odiv = response.xpath(‘//div[@id="content-left"]/div‘)
12         for div in odiv:
13             # xpath函数返回的为列表，列表中存放的数据为Selector类型的数据。我们解析到的内容被封装在了Selector对象中，需要调用extract()函数将解析的内容从Selecor中取出。
14             author = div.xpath(‘.//div[@class="author clearfix"]//h2/text()‘).extract_first()
15             author = author.strip(‘\n‘)#过滤空行
16             content = div.xpath(‘.//div[@class="content"]/span/text()‘).extract_first()
17             content = content.strip(‘\n‘)#过滤空行
18 
19             #将解析到的数据封装至items对象中
20             item = SecondbloodItem()
21             item[‘author‘] = author
22             item[‘content‘] = content
23 
24             yield item#提交item到管道文件（pipelines.py）

1 import scrapy
2 
3 
4 class SecondbloodItem(scrapy.Item):
5     # define the fields for your item here like:
6     # name = scrapy.Field()
7     author = scrapy.Field() #存储作者
8     content = scrapy.Field() #存储段子内容

 1 # -*- coding: utf-8 -*-
 2 
 3 # Define your item pipelines here
 4 #
 5 # Don‘t forget to add your pipeline to the ITEM_PIPELINES setting
 6 # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
 7 
 8 
 9 class SecondbloodPipeline(object):
10     #构造方法
11     def __init__(self):
12         self.fp = None  #定义一个文件描述符属性
13 　　#下列都是在重写父类的方法：
14     #开始爬虫时，执行一次
15     def open_spider(self,spider):
16         print(‘爬虫开始‘)
17         self.fp = open(‘./data.txt‘, ‘w‘)
18 
19 　　 #因为该方法会被执行调用多次，所以文件的开启和关闭操作写在了另外两个只会各自执行一次的方法中。
20     def process_item(self, item, spider):
21         #将爬虫程序提交的item进行持久化存储
22         self.fp.write(item[‘author‘] + ‘:‘ + item[‘content‘] + ‘\n‘)
23         return item
24 
25     #结束爬虫时，执行一次
26     def close_spider(self,spider):
27         self.fp.close()
28         print(‘爬虫结束‘)

#开启管道
ITEM_PIPELINES = {
    ‘secondblood.pipelines.SecondbloodPipeline‘: 300, #300表示为优先级，值越小优先级越高
}

 1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 from qiushibaike.items import QiushibaikeItem
 4 # scrapy.http import Request
 5 class QiushiSpider(scrapy.Spider):
 6     name = ‘qiushi‘
 7     allowed_domains = [‘www.qiushibaike.com‘]
 8     start_urls = [‘https://www.qiushibaike.com/text/‘]
 9 
10     #爬取多页
11     pageNum = 1 #起始页码
12     url = ‘https://www.qiushibaike.com/text/page/%s/‘ #每页的url
13 
14     def parse(self, response):
15         div_list=response.xpath(‘//*[@id="content-left"]/div‘)
16         for div in div_list:
17             #//*[@id="qiushi_tag_120996995"]/div[1]/a[2]/h2
18             author=div.xpath(‘.//div[@class="author clearfix"]//h2/text()‘).extract_first()
19             author=author.strip(‘\n‘)
20             content=div.xpath(‘.//div[@class="content"]/span/text()‘).extract_first()
21             content=content.strip(‘\n‘)
22             item=QiushibaikeItem()
23             item[‘author‘]=author
24             item[‘content‘]=content
25 
26             yield item #提交item到管道进行持久化
27 
28          #爬取所有页码数据
29         if self.pageNum <= 13: #一共爬取13页（共13页）
30             self.pageNum += 1
31             url = format(self.url % self.pageNum)
32 
33             #递归爬取数据：callback参数的值为回调函数（将url请求后，得到的相应数据继续进行parse解析），递归调用parse函数
34             yield scrapy.Request(url=url,callback=self.parse)

 1 #该类为管道类，该类中的process_item方法是用来实现持久化存储操作的。
 2 class DoublekillPipeline(object):
 3 
 4     def process_item(self, item, spider):
 5         #持久化操作代码 （方式1：写入磁盘文件）
 6         return item
 7 
 8 #如果想实现另一种形式的持久化操作，则可以再定制一个管道类：
 9 class DoublekillPipeline_db(object):
10 
11     def process_item(self, item, spider):
12         #持久化操作代码 （方式1：写入数据库）
13         return item

1 #下列结构为字典，字典中的键值表示的是即将被启用执行的管道文件和其执行的优先级。
2 ITEM_PIPELINES = {
3    ‘doublekill.pipelines.DoublekillPipeline‘: 300,
4     ‘doublekill.pipelines.DoublekillPipeline_db‘: 200,
5 }
6 
7 #上述代码中，字典中的两组键值分别表示会执行管道文件中对应的两个管道类中的process_item方法，实现两种不同形式的持久化操作。

    def start_requests(self):
        for u in self.start_urls:
           yield scrapy.Request(url=u,callback=self.parse)

def start_requests(self):
        #请求的url
        post_url = ‘http://fanyi.baidu.com/sug‘
        # 表单数据
        formdata = {
            ‘kw‘: ‘wolf‘,
        }
        # 发送post请求
        yield scrapy.FormRequest(url=post_url, formdata=formdata, callback=self.parse)