爬虫--Python常用模块之requests,urllib和re

Python标准库中提供了:urllib等模块以供Http请求，但是它的API能力不佳，需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务，不推荐使用，此处只是了解一下

#方式一：
import urllib.request

f = urllib.request.urlopen(‘http://www.baidu.com‘)
result = f.read().decode(‘utf-8‘)
print(result)


#方式二：
import urllib.request
req = urllib.request.Request(‘http://www.baidu.com‘)
response = urllib.urlopen(req)
result = response.read().decode(‘utf-8‘)
print(result)

ps：硬要使用urllib模块，推荐使用方式二，因为req是一个Request对象，在这个对象里，可以定义请求的头部信息，这样可以把自己包装成像个浏览器发起的请求，如下面的一个例子

import urllib.request
req = urllib.request.Request(‘http://www.example.com‘)

#自定义头部，第一个参数为关键字参数key，第二个参数为内容
req.add_header("User-Agent","Mozilla/5.0(X11;Ubuntu;Linux x86_64;rv:39.0) Gecko/20100101 Firefox/39.0") 

f = urllib.request.urlopen(req)
result = f.read().decode(‘utf-8‘)

#有一个模块fake_useragent可以随机产生User-Agent信息，对于网站的反爬虫机制有一定的欺骗作用

#1.安装pip install fake_useragent

#2.基本使用
from fake_useragent import UserAgent
ua = UserAgent()
print(ua.chrome)   #产生一个谷歌的内核字段

#常用属性
ua.chrome      #产生一个谷歌的内核字段
ua.ie              #随机产生ie内核字段
ua.firefox       #随机产生火狐内核字段
ua.random    #随机产生不同浏览器的内核字段

Requests是使用Apache2 Licensed许可证的，基于Python开发的HTTP库，其在Python内置模块的基础上进行了高度的封装，从而使得进行网络请求时，
变得美好了许多，而且使用Requests可以轻而易举的完成浏览器可以做到的任何操作

pip3 install requests

import requests

r = requests.get(‘http://www.example.com‘)
print(type(r))
print (r.status_code)   #服务器返回的状态码
print (r.encoding)       #网站使用的编码
print (r.text)              #返回的内容，字符串类型

#1.无参数实例
import requests
res = requests.get(‘http://www.example.com‘)

print (res.url)    #打印请求的url
print (res.text)    #打印服务器返回的内容


#2.有参数实例
import requests
payload = [‘k1‘:‘v1‘,‘k2‘:‘v2‘]
res = requests.get(‘http://httpbin.org/get‘，params=payload)

print (res.url)
print (res.text)

#3.解析json
import requests
import json

response = rquests.get(‘http://httpbin.org/get‘)
print (type(response.text))    #返回结果是字符串类型
pirnt (response.json())          #字符串转成json格式
print (json.loads(response.text))  #字符串转成json格式
print (type(response.json()))    #json类型


#4.添加headers
import requests
from fake_useragent import UserAgent
ua = UserAgent()

#自定义请求头部信息
headers= {
    ‘User-Agent‘:ua.chrome
}
response = requests.get(‘http://www.zhihui.com‘,headers = headers)
print (response.text)

#1.基本POST实例

import requests

#当headers为application/content的时候，请求实例如下：
payload = {‘k1‘:‘v1‘,‘k2‘:‘v2‘}
res = requests.post(‘http://httpbin.org/post‘,data = payload)

print (res.text)
print (type(res.headers),res.headers)
print (type(res.cookies),res.cookies)
print (type(res.url),res.url)
print (type(res.history),res.history)


#2.发送请求头和数据实例
import json
import requests

url = ‘http://httpbin.org/post‘
payload = {‘some‘:‘data‘}
headers = {‘content-type‘:‘application/json‘}

#当headers为application/json的时候,请求实例如下：
res = requests.post(url,data=json.dumps(payload), headers = headers)

print (res.text)

get请求方法参数只有params，而没有data参数，而post请求中两者都是有的

#会话登录
import requests

s = requests.Session()
s.get(‘http://www.httpbin.org/cookies/set/123456789‘) #设置cookies
res = s.get(‘http://www.httpbin.org/cookies‘)  #获得cookies
print (res.text)   #打印cookies

此httpbin.org是通过以上方式来设置cookies


#获得cookie
import requests
response = requests.get(‘http://www.baidu.com‘)
#print (‘response.cookies‘)

for key,value in reponse.cookies.items():
    print (key + ‘=‘ + value)         #组合key = value

#ssl设置
import requests
from requests.packages import urllib3
urllib3.disable_warnings()
res = requests.get(‘http://www.12306.cn‘,verify = False)
print (res.status_code)


#证书认证
import requests
res = requests.get(‘https://www.12306.cn‘,cert=(‘/path/server.crt‘,‘/path/key‘))
print (res.status_code)

import requests
proxies = {
    "http":"http://127.0.0.1:9746",
    "https":"https://127.0.0.1:9924"
}

res = requests.get("http://www.taobao.com",proxies = procies)
print (res.status_code)


#有密码的代理
import requests
proxies = {
    "https":"https://user:password@127.0.0.1:9924"
}

res = requests.get("http://www.taobao.com",proxies = procies)
print (res.status_code)

import requests
from requests.exceptions import ReadTimeout
try:
    res = requests.get(‘http://httpbin.org/get‘,timeout=0.5)
except ReadTimeout:
    print (‘Timeout‘)

import urllib
import requests
from xml.etree import ElementTree as ET

#使用内置模块urllib发送http请求
r = urllib.request.urlopen(‘http://www.webxml.com.cn/webservices/qqOnlineWebService.asmx/qqCheckOnline?qqCode=3455306**‘)
result = r.read().decode(‘utf-8‘)


#使用第三方模块requests发送http请求
r = requetsts.get(‘http://www.webxml.com.cn/webservices/qqOnlineWebService.asmx/qqCheckOnline?qqCode=3455306**‘)
result = r.text

#解析XML格式内容
node = ET.XML(result)

#获取内容
if node.text ==‘Y‘:
    print (‘在线‘)
else:
    print (‘离线‘)

http://www.cnblogs.com/lisenlin/articles/8797892.html#1

import requests
import re
from fake_useragent import UserAgent

def get_page(url):
    ua = UserAgent()
    headers = {
        ‘User-Agent‘:ua.chrome,
    }
    response = requests.get(url, headers = headers)
    try:
        if response.status_code == 200:
            res = response.text
            return res
        return None
    except Exception as e:
        print(e)

def get_movie(html):
    partten = ‘<p.*?><a.*?>(.*?)</a></p>.*?<p.*?>(.*?)</p>.*?<p.*?>(.*?)</p>‘
    items = re.findall(partten, html, re.S)
    #print((items))
    return items
    
def write_file(items):
    fileMovie = open(‘movie.txt‘, ‘w‘, encoding=‘utf8‘)
    try:
        for movie in items:
            fileMovie.write(‘电影排名：‘ + movie[0] + ‘\r\n‘)
            fileMovie.write(‘电影主演：‘ + movie[1].strip() + ‘\r\n‘)
            fileMovie.write(‘上映时间：‘ + movie[2] + ‘\r\n\r\n‘)
        print(‘文件写入成功...‘)
    finally:
        fileMovie.close()
        
def main(url):
    html = get_page(url)
    items = get_movie(html)
    write_file(items)
    
if __name__ == ‘__main__‘:
    url = "http://maoyan.com/board/4"
    main(url)