python3之scrapy安装使用

标签：https   win32   mod   split()   site   .exe   卸载   tar   nload   

需要安装的包

pip install scrapy selenium 

可能需要卸载重装的模块   lxml cryptography  cffi  pypiwin32

pip uninstall xxx

pip install xxx

下载安装chromedriver，它的版本要和chrome版本对应起来，在win10上如果出现权限错误，先手工运行一下就好。

地址为： https://sites.google.com/a/chromium.org/chromedriver/downloads

在scrapy.cfg同级目录下创建启动文件start.py

from scrapy import cmdline


cmdline.execute("scrapy crawl project".split())

spider.browser.implicitly_wait(10)，这个是智能等待

scrapy.http.Request(url=req_url, meta={"mode" : "rate"}, callback=self.htmlparse, dont_filter=True) dont_filter这个是允许重复，不去重的。

python3之scrapy安装使用

标签：https   win32   mod   split()   site   .exe   卸载   tar   nload   

原文地址：https://www.cnblogs.com/zxpo/p/10104310.html