import requests; import re; import os; import parsel; 1.请求网页 header = { "user-agent":'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537. ...
分类：
编程语言 时间：
2020-07-29 21:38:42
阅读次数：
68
1、什么是信息头？请求头 2、什么时候用？Cookie token 3、我们的场景设计？反爬虫添加信息头 模拟浏览器发送请求 user--agent 4、范围：分为全局和局部的吗？有全局和局部之分 (1)http信息头管理器如果放在某个http请求下，则只对该http请求生效 (2)http信息头管 ...
分类：
Web程序 时间：
2020-07-29 17:31:45
阅读次数：
106
以百度为例 GET /favicon.ico HTTP/1.1 Host: www.baidu.com Connection: keep-alive Pragma: no-cache Cache-Control: no-cache User-Agent: Mozilla/5.0 (Windows N ...
分类：
Web程序 时间：
2020-07-28 16:58:47
阅读次数：
177
import requests #UA伪装： #UA:User-Agent(请求载体的身份标识)检测: #门户网站的服务器会检测对应请求的身份载体标识，如果检测到请求的载体身份标识为某一款浏览器 #说明该请求是一个正常的请求，但是，如果检测到请求的载体身份标识不是某一款浏览器的，则表示该请求不是正常 ...
分类：
Web程序 时间：
2020-07-28 10:17:22
阅读次数：
79
#!/usr/bin/python import requests from lxml import etree #需求：爬取58二手房中的房源信息 if __name__ == "__main__": headers = { 'User-Agent':'Mozilla/5.0 (Windows N ...
分类：
其他好文 时间：
2020-07-28 10:12:45
阅读次数：
79
import requests from lxml import etree import re from multiprocessing.dummy import Pool #需求：爬取梨视频的视频数据 headers = { 'User-Agent':'Mozilla/5.0 (Windows ...
分类：
编程语言 时间：
2020-07-28 10:02:06
阅读次数：
77
案例一：解析出全国所有城市名称代码如下：importrequestsfromlxmlimportetreeif__name__=="__main__":headers={‘User-Agent‘:‘Mozilla/5.0(Macintosh;IntelMacOSX10_12_0)AppleWebKit/537.36(KHTML,likeGecko)Chrome/73.0.3683.103Safar
分类：
编程语言 时间：
2020-07-23 19:04:28
阅读次数：
103
案例：使用正则爬取糗图百科图片单页面的代码importreimportrequestsimportos#创建文件夹ifnotos.path.exists(‘./qiutu‘):os.mkdir(‘./qiutu‘)headers={‘user-agent‘:‘Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)‘‘C
分类：
编程语言 时间：
2020-07-22 16:05:52
阅读次数：
79
一.代码+注解 import os from PIL import Image import requests import io def save_img(): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) Appl ...
分类：
编程语言 时间：
2020-07-18 19:54:15
阅读次数：
82
1、get方式：如何为爬虫添加ip代理，设置Request header（请求头） import urllib import urllib.request import urllib.parse import random import time from fake_useragent import ...
分类：
编程语言 时间：
2020-07-17 22:29:49
阅读次数：
192
