目标是把这里的ppt什么的给下下来：https://web.stanford.edu/~jurafsky/slp3/ ...
分类：
其他好文 时间：
2018-12-01 23:46:10
阅读次数：
183
1.在scrapy项目中创建一个py脚本，且尽量在scrapy.cfg同级目录下。我创建的是begin.py 2.配置begin.py。写上这一句就相等于一点开始，就在终端上输入了scrapy crawl daomu这条命令 3.进入到run -> Edit Configurations中还要配置一 ...
分类：
其他好文 时间：
2018-12-01 15:19:34
阅读次数：
198
1.Spider爬虫代码 3.Pipelines管道代码 4.setting代码（开启管道，300表示优先级，越小优先级越高） 5.运行爬虫 执行命令：scrapy crawl yszd_spider 注意：yszd_spider为你定义爬虫的名称，与1中的第8行代码对应！ 6.执行结果 ...
分类：
其他好文 时间：
2018-11-25 17:54:00
阅读次数：
193
import urllib.requestkeywd="张国荣"keywd=urllib.request.quote(keywd)url="http://www.baidu.com/s?wd="+keywdreq=urllib.request.Request(url)data=urllib.requ ...
分类：
其他好文 时间：
2018-11-24 00:19:00
阅读次数：
151
scrapy -->CrawlSpider 介绍 1、首先，通过crawl 模板新建爬虫： 创建出来的爬虫文件lagou.py： # -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor ...
分类：
其他好文 时间：
2018-11-11 10:30:28
阅读次数：
230
一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ： 一般错误 WARNING : 警告 INFO : 一般的信息 DEBUG ： 调试信息 默认的显示级别是DEB ...
分类：
其他好文 时间：
2018-11-01 18:28:49
阅读次数：
290
一、模板使用 scrapy 在建立爬虫的时候，还可以指定使用的模板进行建立 默认建立爬虫文件的命令： 可以用 scrapy genspider --list 命令 查看scrapy的模板 通过crawl模板生成拉钩网爬虫文件 二、编写lagou.py import scrapy from scrap ...
分类：
其他好文 时间：
2018-10-24 15:38:22
阅读次数：
292
CrawlSpiders 通过下面的命令可以快速创建 CrawlSpider模板 的代码： scrapy genspider -t crawl tencent tencent.com 上一个案例中，我们通过正则表达式，制作了新的url作为Request请求参数，现在我们可以换个花样... class ...
分类：
其他好文 时间：
2018-10-15 16:29:58
阅读次数：
178
Error Msg: 问题: spider中定义的爬虫名字和使用的爬虫名字不符 解决: 修改正确 ...
分类：
其他好文 时间：
2018-10-12 18:25:15
阅读次数：
197
一.scrapy暂停与重启 1.要暂停，就要保留一些中间信息，以便重启读取中间信息并从当前位置继续爬取，则需要一个目录存放中间信息： scrapy crawl spider_name -s JOBDIR=dir/001——spider_name是你要爬取得spider的py文件名，JOBDIR是命令 ...
分类：
Web程序 时间：
2018-10-11 16:57:35
阅读次数：
739
