使用pycharm爬取知乎网站的时候，在terminal端输入scarpy crawl zhihu,提示语法错误，如下： 原因是python3.7中将async设为关键字,根据错误提示，找到manhole.py文件，将文件中async参数全部更改为其它名，比如async1。 这时候运行scarpy ...
scrapy movie.py items.py pipelines.py mian.py 保存结果 txt文件 ...
分类：
其他好文 时间：
2018-10-04 10:29:58
阅读次数：
140
首先把爬虫写好后————》在同级文件夹新建一个文件夹（类似于日志）info————》接下来打开命令行cd到这个爬虫 ————》输入命令： 暂停之后需要重启第一行命令：scrapy crawl spider -s JOBDIR=info/001 尽量在命令行上做 ...
分类：
其他好文 时间：
2018-10-04 09:26:03
阅读次数：
209
how to chanage the file of scrapy to csv or json file， we used the commond that is "scrapy crawl 【parse_file_name】 -o 【filename】+ .json/.csv" Waring: ...
分类：
其他好文 时间：
2018-10-02 00:23:05
阅读次数：
177
Available commands: bench Run quick benchmark test check Check spider contracts crawl Run a spider edit Edit spider fetch Fetch a URL using the Scrapy ...
分类：
其他好文 时间：
2018-09-27 22:00:22
阅读次数：
129
scrapy crawl nbzj 执行结果如下 ...
分类：
其他好文 时间：
2018-09-26 14:21:02
阅读次数：
157
我在学习python爬虫的时候遇到一个问题 在cmd命令行下 scrapy startproject python123demo scrapy genspider demo python123.io 到最后运行scrapy crawl demo 时出现错误，找了好久的资料 如果出现SyntaxErr ...
分类：
编程语言 时间：
2018-09-19 13:33:28
阅读次数：
489
#四个步骤 1.查看crawl内容的源码格式 crawl的内容可以是 url(链接），文字，图片，视频 2.请求网页源码 （可能要设置）代理，限速，cookie 3.匹配 用正则表达式匹配 4.保存数据 文件操作 #两个基本工具（库） 1.urllib 2.requests #使用reuests库的 ...
分类：
编程语言 时间：
2018-09-03 19:59:57
阅读次数：
161
目标网站：http://bbs.fengniao.com/使用框架：scrapy因为有很多模块的方法都还不是很熟悉，所有本次爬虫有很多代码都用得比较笨，希望各位读者能给处意见首先创建好爬虫项目，并使用crawl模板创建爬虫文件通过观察论坛的规律得出，很多贴子的页数往往大于一页，那么要将贴子里各页的图片下载到同一文件夹内，并且不能重名，就是获取到当前的页码数，已页码数+自然数的方式命令文件。发现sc
分类：
其他好文 时间：
2018-08-31 13:22:19
阅读次数：
229
写在前面的话 ：上一篇文章我们用requests和lxml.etree爬取了豆瓣电影Top250的电影信息，为了能对requests和lxml.etree有更深的理解，下面我们将继续用他们来爬取豆瓣电影的短评 ...
分类：
其他好文 时间：
2018-08-24 00:44:40
阅读次数：
425
