标签：实例化 proc pca turn data- drag filter 浏览器 应用
4.代码展示：
- 爬虫文件：
class WangyiSpider(RedisSpider):
name = ‘wangyi‘
#allowed_domains = [‘www.xxxx.com‘]
start_urls = [‘https://news.163.com‘]
def __init__(self):
#实例化一个浏览器对象(实例化一次)
self.bro = webdriver.Chrome(executable_path=‘/Users/bobo/Desktop/chromedriver‘)
#必须在整个爬虫结束后，关闭浏览器
def closed(self,spider):
print(‘爬虫结束‘)
self.bro.quit()
- 中间件文件：
from scrapy.http import HtmlResponse
#参数介绍：
#拦截到响应对象（下载器传递给Spider的响应对象）
#request：响应对象对应的请求对象
#response：拦截到的响应对象
#spider：爬虫文件中对应的爬虫类的实例
def process_response(self, request, response, spider):
#响应对象中存储页面数据的篡改
if request.url in[‘http://news.163.com/domestic/‘,‘http://news.163.com/world/‘,‘http://news.163.com/air/‘,‘http://war.163.com/‘]:
spider.bro.get(url=request.url)
js = ‘window.scrollTo(0,document.body.scrollHeight)‘
spider.bro.execute_script(js)
time.sleep(2) #一定要给与浏览器一定的缓冲加载数据的时间
#页面数据就是包含了动态加载出来的新闻数据对应的页面数据
page_text = spider.bro.page_source
#篡改响应对象
return HtmlResponse(url=spider.bro.current_url,body=page_text,encoding=‘utf-8‘,request=request)
else:
return response- 配置文件：
标签：实例化 proc pca turn data- drag filter 浏览器 应用
原文地址：https://www.cnblogs.com/plyc/p/14506192.html
