编写spider爬取

#解析列表页中所有文章的url，遍历出来
def parse(self, response):
    # 解析列表页中的所有url并交给scrapy下载后进行解析
    post_urls = response.css(‘#archive .floated-thumb .post-thumb a::attr(href)‘).extract()
    for post_url in post_urls:
        print(post_url)

from scrapy.http import Request

from urllib import parse

    def parse(self, response):

        #获取文章列表页中的文章url并交给解析函数进行具体字段的解析
        #获取下一页的url并交给scrapy进行下载，下载完成后交给parse
        post_urls = response.css(‘#archive .floated-thumb .post-thumb a::attr(href)‘).extract()
        for post_url in  post_urls:
            #yield Request(url=post_url,callback=self.parse_detail)
            yield Request(url=parse.urljoin(response.url, post_url),callback=self.parse_detail) #域名拼接 下载 下载完成后调用parse_detail解析字段

        #提取下一页并交给scrapy下载
        next_url = response.css(‘.next.page-numbers::attr(href)‘).extract_first("")#空格去掉表示同时拥有两个属性
        if next_url:
            yield Request(url=parse.urljoin(response.url, next_url), callback=self.parse)　　#继续调用parse解析出列表页中具体文章的url