# -*- coding: utf-8 -*-
import scrapy
from Wangyixinwen.items import WangyixinwenItem
from selenium import webdriver

class WangyiSpider(scrapy.Spider):
    name = ‘wangyi‘
    # allowed_domains = [‘www.xxx.com‘]
    #自动发送请求的 去设置里将user-agent以及robots协议设置好
    start_urls = [‘https://news.163.com/‘]
    """"
    我们的第一次请求对象就是start_urls开始，我们还需要对UA伪装同时还有IP代理等，可以在下载中间件的process_request中设置UA伪装
    process_exception中设置代理ip（等到自己ip出问题了就用代理ip）。等到响应对象缺失就可以在process_response中拦截。
    """
    bro = webdriver.Chrome("./chromedriver.exe")
    urls = []
    def parse(self, response):
        #从响应对象中获取到全部目标
        target_list = response.xpath(‘//*[@id="js_festival_wrap"]/div[3]/div[2]/div[2]/div[2]/div/ul/li‘)
        #遍历目标得到具体的url
        for index in [3,6,7,8]:
            target = target_list[index]
            #得到目标的url 并且取出url
            target_url = target.xpath(‘./a/@href‘).extract_first()
            self.urls.append(target_url)
            #对目标url发起请求
            yield scrapy.Request(url=target_url,callback=self.parse_target)
    def parse_target(self,response):
        #将第二次请求的响应对象开始解析，分析由于还未编写代码就知道这次是含有动态加载数据，因此这次
        #分析可以用到selenium一起解析数据，下面解析出新闻标题以及具体的详情页的url(响应的数据缺失，因此我们需要去下载中间件设置)
        detail_list = response.xpath(‘/html/body/div[1]/div[3]/div[4]/div[1]/div/div/ul/li/div/div‘)
        for detail in detail_list:
            title = detail.xpath(‘./div/div[1]/h3/a/text()‘).extract_first()
            detail_url = detail.xpath(‘./div/div[1]/h3/a/@href‘).extract_first()
            #实例化item对象，封装数据
            item = WangyixinwenItem()
            item["title"] = title
            yield scrapy.Request(url=detail_url,callback=self.parse_detail,meta={"item":item})
    def parse_detail(self,response):
        item = response.meta[‘item‘]
        content = response.xpath(‘//*[@id="endText"]/p/text()‘).extract()
        #将内容转换为字符串对象
        content = "".join(content)
        item["content"] = content
        #提交数据
        yield item
    def close(self,spider):
        # 爬虫结束，浏览器也关闭
        print("爬虫结束！！！")
        self.bro.quit()

# -*- coding: utf-8 -*-

# Define here the models for your spider middleware
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/spider-middleware.html

from scrapy import signals
from scrapy.http import HtmlResponse
import random
from time import sleep

class WangyixinwenDownloaderMiddleware(object):
    # Not all methods need to be defined. If a method is not defined,
    # scrapy acts as if the downloader middleware does not modify the
    # passed objects.
   
    def process_request(self, request, spider):
    
        return None

    def process_response(self, request, response, spider):
        #刚才响应体缺失，因此从这里我们应该重新返回新的响应体
        #这里要用到爬虫程序中的urls，判断url是否在里面，在urls里面的就会出现响应缺失，
        # 、因此需要返回新的响应体
        if request.url in spider.urls:
            #响应缺失是因为是动态加载数据，因此我们配合selenium使用
            #在这里实例化selenium的话会被实例化多次，然而selenium只需要实例化一次，
            #这个时候我们可以将selenium放在实例化一次的爬虫程序开始的时候,实例化完成引入
            sleep(2)
            bro = spider.bro.get(url=request.url)#浏览器中发送请求
            sleep(1)
            spider.bro.execute_script("window.scrollTo(0,document.body.scrollHeight)")
            sleep(1.5)
            spider.bro.execute_script("window.scrollTo(0,document.body.scrollHeight)")
            sleep(0.7)
            spider.bro.execute_script("window.scrollTo(0,document.body.scrollHeight)")
            sleep(1)
            spider.bro.execute_script("window.scrollTo(0,document.body.scrollHeight)")
            #发送到请求我们需要获取浏览器当前页面的源码数据 获取数据之前需要翻滚页面
            page_text = spider.bro.page_source
            #改动返回响应对象  scrapy提供了一个库url=spider.bro.current_url, body=page_text, encoding=‘utf-8‘, request=request
            new_response = HtmlResponse(url=request.url,body=page_text,encoding="utf-8",request=request)
            return new_response
        else:
            return response
        #提交完新的响应体之后，去设置将下载中间件打开

    def process_exception(self, request, exception, spider):
        pass