对于我们来说，网络IP软件并不陌生，因为我们每天都使用网络，无论是工作还是生活，互联网的魔力使我们已经无法完全离开它。平常我们的工作可能也要用到各种类型的换IP软件。 代理IP的用途有哪些？ 1、爬虫采集 Python爬虫爬取数据时，很容易被封禁IP，使用换IP软件之后可以让爬虫伪装，隐藏自己的真实 ...
分类：
其他好文 时间：
2020-05-23 16:32:38
阅读次数：
121
1.爬虫和关系数据库的交互次数能减少就减少。 之前由于爬虫出了bug，导致错误日志持续膨胀耗尽服务器空间，导致MySQL数据库无法添加数据，于是乎想把爬虫中间过程的所有数据(图片url等待队列)放进数据库。爬虫的爬取速度明显下降，并且数据库操作过程出错(经常发生事务锁定时间过长强退这种情况)。之前也 ...
分类：
数据库 时间：
2020-05-23 13:30:21
阅读次数：
105
1、请求headers处理 我们有时请求服务器时，无论get或post请求，会出现403错误，这是因为服务器拒绝了你的访问，这时我们可以通过模拟浏览器的头部信息进行访问，这样就可以解决反爬设置的问题。 import requests # 创建需要爬取网页的地址 url = 'https://www. ...
分类：
编程语言 时间：
2020-05-21 00:33:50
阅读次数：
75
from bs4 import BeautifulSoupimport requestsimport pandas as pdheader = {'Referer': 'https://movie.douban.com/subject/33420285/comments?status=P','Use ...
分类：
编程语言 时间：
2020-05-19 22:41:42
阅读次数：
115
利用Python爬虫爬取目标小说并保存到本地 小说地址：http://book.zongheng.com/showchapter/749819.html（目录地址） 通过小说目录获取小说所有章节对应的url地址，然后逐个访问解析得到每一章节小说的内容，最后保存到本地文件内 文章中的代码只是第一个版本 ...
分类：
编程语言 时间：
2020-05-19 12:46:19
阅读次数：
62
1.网络数据采集的一个常用功能就是获取 HTML 表格并写入 CSV 文件。维基百科的文本编 辑器对比词条（https://en.wikipedia.org/wiki/Comparison_of_text_editors）中用了许多复杂 的 HTML 表格，用到了颜色、链接、排序，以及其他在写入 C ...
分类：
编程语言 时间：
2020-05-19 01:13:44
阅读次数：
77
在调试爬虫的时候，新手都会遇到关于ip的错误，好好的程序突然报错了，怎么解决，关于ip访问的错误其实很好解决，但是怎么知道解决好了呢？怎么确定是代理ip的问题呢？由于笔者主修语言是Java，所以有些解释可能和Python大佬们的解释不一样，因为我是从Java 的角度看Python。这样也便于Java ...
分类：
编程语言 时间：
2020-05-18 14:26:20
阅读次数：
81
Scrapy简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。另外要注意：光理论是不够的。这里顺便送大家一套2020最新python入 ...
分类：
编程语言 时间：
2020-05-16 12:29:10
阅读次数：
128
scrapy基础知识之发送POST请求与使用 FormRequest.from_response() 方法模拟登陆 https://blog.csdn.net/qq_33472765/article/details/80958820 scrapy框架中的Request()、FormRequest() ...
分类：
编程语言 时间：
2020-05-15 17:33:11
阅读次数：
62
一、爬虫入门Python爬虫入门一之综述Python爬虫入门二之爬虫基础了解Python爬虫入门三之Urllib库的基本使用Python爬虫入门四之Urllib库的高级用法Python爬虫入门五之URLError异常处理Python爬虫入门六之Cookie的使用Python爬虫入门七之正则表达式二、爬虫实战Python爬虫实战一之爬取糗事百科段子Python爬虫实战二之爬取百度贴吧帖子Python
分类：
其他好文 时间：
2020-05-14 01:46:17
阅读次数：
85
