写了个爬取知乎热榜的爬虫，将热榜信息存成json格式保存在当前目录下，根据爬取时间存取 需要cookie换成自己的应该就能用了 爬取的内容有Rank：当前热榜排名 Title:问题名称 Hot：当前问题热度 Url：问题链接 Tags:问题的tags（点进问题之后可以看到） # coding:utf ...
分类：
其他好文 时间：
2021-06-02 10:33:20
阅读次数：
0
在爬取某网站时，我们习惯于直接在浏览器里复制headers和请求参数，粘贴到自己的代码里进行调试
但是，在爬取linkg网站时，发现了一个问题：
解码失败
运行： ...
分类：
编程语言 时间：
2021-05-24 17:15:57
阅读次数：
0
还记得那些年一起网吧开黑通宵的日子吗？《英雄联盟》绝对是大学时期的风靡游戏，即使毕业多年的大学同学相聚，难免不怀念一番当时一起玩《英雄联盟》的日子。 今天就给大家分享一下英雄及皮肤图片的爬虫。 一开始都是先去《英雄联盟》官网找到英雄及皮肤图片的网址： URL = r'https://lol.qq.c ...
分类：
编程语言 时间：
2021-05-24 14:37:29
阅读次数：
0
一、目标网址 http://wz.sun0769.com/political/index/politicsNewest 二、scrapy创建项目 scrapy startproject SunPro cd SunPro scrapy genspider -t crawl sun www.xxx.co ...
分类：
其他好文 时间：
2021-05-24 12:12:10
阅读次数：
0
在上一篇中，我们说了模拟登录， 下面我们说说附件上传。 据说，最早的http协议是不支持附件上传的，后来有添加了一个RFC 2045 协议，才支持附件上传，关于附件上传，请参见 http://www.cnblogs.com/greenerycn/archive/2010/05/15/csharp_h ...
由于多线程爬取数据比单线程的效率要高，尤其对于爬取数据量大的情况，效果更好，所以这次采用多线程进行爬取。具体代码和流程如下： import math import re from concurrent.futures import ThreadPoolExecutor import requests ...
分类：
编程语言 时间：
2021-05-24 12:04:44
阅读次数：
0
代码： 1 import time 2 import traceback 3 import requests 4 from lxml import etree 5 import re 6 from bs4 import BeautifulSoup 7 from lxml.html.diff impo ...
分类：
数据库 时间：
2021-05-24 12:00:17
阅读次数：
0
最近做一个爬虫项目，需要curl请求第三方系统，其中一个请求放到postman的时候秒回，代码curl请超时，打印错误信息：empty reply from server 翻阅网上资料无果，只能用排除法，去掉请求的一些配置看是哪里影响了，最后发现去掉post data 后请求秒回，虽然返回的是请求失 ...
分类：
Web程序 时间：
2021-05-24 07:00:36
阅读次数：
0
python正则表达式 1、re简介 正则表达式re，是Regular Expression的简称。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。 2、在python中使用正则表达式 在python中许多场合（本人是在使用爬虫时）正则表达式都能起到很关键的作用，在使用前，先引用re包 ...
分类：
编程语言 时间：
2021-05-24 06:44:03
阅读次数：
0
Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 一、Scrapy-Redis分布式策略： Master端(核心服务器)：搭建一个Redis数据库，并开启redis-server ...
分类：
其他好文 时间：
2021-05-24 06:20:04
阅读次数：
0
