urllib（request,error,parse,robotparse） request模块 方法:urlopen() 最基本http请求方法，利用它可以模拟浏览器的一个请求发起过程，同时他还带有助力授权验证authentication,重定向redirection,浏览器cookie 以及其他 ...
分类：
Web程序 时间：
2020-01-16 14:18:05
阅读次数：
99
一、reponse解析 urlopen的返回对象 （1）geturl：返回网页地址 （2）info：请求反馈对象的meta信息 （3）getcode：返回的http code from urllib import request import chardet """ 解析reponse """ if ...
分类：
编程语言 时间：
2020-01-13 01:11:19
阅读次数：
150
from urllib.request import urlopenfrom http.client import HTTPResponseresponse = urlopen('http://www.baidu.com')# http.client.HTTPResponse对象print(type ...
分类：
Web程序 时间：
2020-01-05 22:16:21
阅读次数：
126
使用该库需先安装，能更方便的处理Cookies，登录验证，代理设置等。 urllib中urlopen()实际是以GET方法请求网页，requests中响应的方法为get()，另外还可用post(),put(),delete()等方式实现POET,PUT,DELETE等请求。 1 普通用法 1.1 G ...
分类：
编程语言 时间：
2020-01-04 10:48:36
阅读次数：
61
import requests import webbrowser import matplotlib.pyplot as plot from urllib.request import urlopen with open('t1.txt','r')as f: x=f.read().split('\ ...
分类：
其他好文 时间：
2020-01-01 23:51:21
阅读次数：
81
from bs4 import BeautifulSoup from urllib.request import urlopen import re html = urlopen("https://morvanzhou.github.io/static/scraping/table.html").r ...
分类：
编程语言 时间：
2019-12-29 18:18:47
阅读次数：
139
1.1.urlopen函数的用法 #encoding:utf-8 from urllib import request res = request.urlopen("https://www.cnblogs.com/") print(res.readlines()) #urlopen的参数 #def ...
分类：
Web程序 时间：
2019-12-25 12:49:39
阅读次数：
84
1、注册微信企业号 1）注册微信企业号 https://work.weixin.qq.com 2）通讯录添加用户 3）记住部门id 4）创建应用 5）点击刚创建的应用，记住Agentld和secret 6）微信关注这个企业号，获取更多尺寸关注 点击关注 7）测试向关注的用户发送信息 微信能够正常接收 ...
分类：
微信 时间：
2019-12-23 18:45:31
阅读次数：
103
（1）运行后报错：“TypeError: cannot use a string pattern on a bytes-like” 原因：content用decode(‘utf-8’)进行解码，由bytes变成string。py3的urlopen返回的不是string是bytes。 解决方案：把’c ...
分类：
编程语言 时间：
2019-12-22 20:06:47
阅读次数：
135
在本爬虫程序中共有三个模块： 1、爬虫调度端：启动爬虫，停止爬虫，监视爬虫的运行情况 2、爬虫模块：包含三个小模块，URL管理器、网页下载器、网页解析器。 （1）URL管理器：对需要爬取的URL和已经爬取过的URL进行管理，可以从URL管理器中取出一个待爬取的URL，传递给网页下载器。 （2）网页下 ...
分类：
编程语言 时间：
2019-12-22 12:42:58
阅读次数：
136
