from bs4 import BeautifulSoupimport urllibimport urllib.requestimport re# import json headers={"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Wind ...
分类：
编程语言 时间：
2020-02-08 00:40:43
阅读次数：
107
my_fake_useragent 和 fake_useragent实质基本一致，可以调用里面的方法User Agent 例my_fake_useragent 底层 class UserAgent(): parsed_json_data = load_parsed_json_data() def _ ...
分类：
其他好文 时间：
2020-02-08 00:23:38
阅读次数：
76
时间：2020.2.6 今天把昨天做到一半的首都之窗百姓信件爬取完成了。 源码如下： 1 import requests 2 import io 3 from bs4 import BeautifulSoup 4 #信1705-1 赵路仓 5 kv = {'user-agent': 'Mozilla ...
分类：
编程语言 时间：
2020-02-07 01:24:07
阅读次数：
110
分享一些常见的User-Agent，从网上搜集来的，可能不怎么完整。 User-Agent (1)百度 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) Mozilla/5.0 (c ...
分类：
其他好文 时间：
2020-02-06 23:05:43
阅读次数：
102
import requests from lxml import etree ###网址 url="https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6" ###模拟浏览器 header={'User-Agent':'Mozilla ...
分类：
其他好文 时间：
2020-02-06 14:34:39
阅读次数：
73
常见参数 -A/--user-agent <string> 设置用户代理发送给服务器 -b/--cookie <name=string/file> cookie字符串或文件读取位置 -c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中 -C/--continue-a ...
分类：
Web程序 时间：
2020-02-05 18:14:57
阅读次数：
86
code #!/usr/bin/env python # -*- coding: utf-8 -*- import requests from lxml import etree class Main: def __init__(self): self.headers = { 'User-Agent ...
分类：
编程语言 时间：
2020-02-04 20:23:06
阅读次数：
106
import re import requests def parse_page(url): headers = { 'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) ...
分类：
其他好文 时间：
2020-02-03 19:21:36
阅读次数：
64
1 先创建session , 设置header. 调用get()函数 s = requests.session() headers = { 'Accept':'image/webp,image/*;q=0.8', 'User-Agent':'News/6.9.8.36 CFNetwork/975.0 ...
分类：
编程语言 时间：
2020-02-02 19:52:05
阅读次数：
86
总思路：抓包看需要发送什么数据，从fiddler抓到的包发现想要获得课程表的数据需要发送一个携带班级序号和学期号的GET请求，因为尝试了各种方法都无法直接通过请求进入网站，于是我把可能需要携带的数据都带进去，发现只需要一个User-Agent和Cookie这样事情就变得简单了，直接在字典中放入伪装头 ...
分类：
其他好文 时间：
2020-01-27 17:25:58
阅读次数：
215
