思考 scrapy 为什么是框架而不是库？ scrapy 是如何工作的？ Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://space.bilibili.com/523606542 Python学习交流群：1039649593 项目结构 在开始爬取之前，必须创建一个新的 ...
分类：
编程语言 时间：
2021-03-09 13:15:09
阅读次数：
0
import pymongo db_configs = { 'type': 'mongo', 'host': '127.0.0.1', 'port': '27017', "user": "", "password": "", 'db_name': 'spider' } class MongoPipe ...
分类：
其他好文 时间：
2021-02-19 13:41:33
阅读次数：
0
在进行爬虫的过程当中，我们经常会遇到被封IP的情况，因此我们可以搜集一些代理IP，然后使用程序去测试哪些代理IP是可用的,我在这里使用了请求如下网站的方法： http://icanhazip.com/ 请求这个网站之后，如果请求成功，没有遇到异常，就会返回当前你请求这个网站的IP地址。同时保存到一个 ...
分类：
编程语言 时间：
2021-02-09 12:20:54
阅读次数：
0
#VS2019新建python项目 在vs2019中添加python编译环境 创建python控制台应用程序项目 #配置python环境 ##安装requests第三方库 管理程序包，执行安装requests包命令pip install requests ##导入第三方包 import reques ...
分类：
编程语言 时间：
2021-02-05 10:46:36
阅读次数：
0
免修改hosts文件哦，如果修改过请删除网址再激活 （更新日期：2月1号） 温馨提示：激活码支持idea,pycharm,webstorm,phpstorm激活 (注意：如果激活后还显示cancelled，请重启一下软件就可以了) `激活码会定期更新，后续直接在公众号「Python爬虫数据分析挖掘」 ...
分类：
Web程序 时间：
2021-02-05 10:32:12
阅读次数：
0
1 引擎：Hi！Spider, 你要处理哪一个网站？ 2 Spider：老大要我处理xxxx.com。 3 引擎：你把第一个需要处理的URL给我吧。 4 Spider：给你，第一个URL是xxxxxxx.com。 5 引擎：Hi！调度器，我这有request请求你帮我排序入队一下。 6 调度器：好的 ...
分类：
其他好文 时间：
2021-02-04 11:47:56
阅读次数：
0
日志设置 CRITICAL ： 严重错误 ERROR ： 一般错误 WARNING : 警告 INFO : 一般的信息 DEBUG ： 调试信息 默认的显示级别是DEBUG # 设置错误显示级别 LOG_LEVEL = 'DEBUG' # 将日志信息写到文件中，不要显示到屏幕中 LOG_FILE = ...
分类：
其他好文 时间：
2021-02-01 12:18:26
阅读次数：
0
1 import scrapy 2 import re 3 from fake_useragent import UserAgent 4 5 6 class DoubanSpider(scrapy.Spider): 7 name = "douban" 8 start_urls = ['https:/ ...
分类：
Web程序 时间：
2021-01-28 11:53:08
阅读次数：
0
各类程序员学习路线图：https://www.runoob.com/coder-learn-path ...
分类：
其他好文 时间：
2021-01-26 11:51:31
阅读次数：
0
爬取电影网站 movie.py import scrapyfrom MyProjectDianying.items import MyprojectdianyingItemclass MovieSpider(scrapy.Spider): name = 'movie' # allowed_domai ...
分类：
编程语言 时间：
2021-01-14 11:19:48
阅读次数：
0
