python网络爬虫《爬取get请求的页面数据》

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
#导包
import urllib.request
import urllib.parse
if __name__ == "__main__":
    #指定爬取的网页url
    url = "http://www.baidu.com/"
    # 通过urlopen函数向指定的url发起请求，返回响应对象
    response = urllib.request.urlopen(url=url)
    # 通过调用响应对象中的read函数，返回响应客户端的数据值（爬取到的数据）
    data = response.read()  # 返回的数据为byte类型，并非字符串
    print(data)  # 打印显示爬取到的数据值

#补充说明
urlopen函数原型：urllib.request.urlopen(url, data=None, timeout=<object object at 0x10af327d0>, *, cafile=None, capath=None, cadefault=False, context=None)

在上述案例中我们只使用了该函数中的第一个参数url，在日常开发中，我们能用的只有url和data这两个参数。

url参数：指定向哪个url发起请求
data参数：可以将post请求中携带的参数封装成字典的形式传递给该参数

urlopen函数返回的响应对象，相关函数调用介绍：
response.headers():获取响应头信息
response.getcode():获取响应状态码
response.geturl():获取请求的url
response.read():获取响应中的数据值（字节类型）

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse
if __name__ == "__main__":
    url = "http://news.baidu.com/"
    response = urllib.request.urlopen(url=url)
    # decode()作用是将响应中字节（byte）类型的数据值转成字符串类型
    data = response.read().decode()
    # 使用IO操作将data表示的数据值以‘w‘权限的方式写入到news.html文件中
    with open(‘./news.html‘,‘w‘) as fp:
        fp.write(data)
    print(‘写入文件完毕‘)

import urllib.request
import urllib.parse
# 如下两行代码表示忽略https证书，因为下面请求的url为https协议的请求，如果请求不是https则该两行代码可不用。
import ssl
ssl._create_default_https_context = ssl._create_unverified_context


if __name__ == "__main__":
    #url是https协议的
    url = "https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1536918978042&di=172c5a4583ca1d17a1a49dba2914cfb9&imgtype=0&src=http%3A%2F%2Fimgsrc.baidu.com%2Fimgad%2Fpic%2Fitem%2F0dd7912397dda144f04b5d9cb9b7d0a20cf48659.jpg"
    response = urllib.request.urlopen(url=url)
    data = response.read()  #因为爬取的是图片数据值（二进制数据），则无需使用decode进行类型转换。
    with open(‘./money.jpg‘,‘wb‘) as fp:
        fp.write(data)
    print(‘写入文件完毕‘)

import urllib.request
import urllib.parse


if __name__ == "__main__":
    # 原始url中存在非ASCII编码的值，则该url无法被使用。
    # url = "http://www.baidu.com/s?ie=utf-8&kw=周杰伦"
    # 处理url中存在的非ASCII数据值
    url = "http://www.baidu.com/s?"
    # 将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是"?"后面键值形式的请求参数
    param = {
        ‘ie‘:‘utf-8‘,
        ‘wd‘:‘周杰伦‘
    }
    # 使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码
    param = urllib.parse.urlencode(param)
    # 将编码后的数据和url进行整合拼接成一个完整可用的url
    url = url + param
    print(url)
    response = urllib.request.urlopen(url=url)
    data = response.read()
    with open(‘./zhou.html‘,‘wb‘) as fp:
        fp.write(data)
    print(‘写入文件完毕‘)

import urllib.request
import ulrlib.parse

import ssl

ssl._create_default_https_context = ssl._create_unverified_context


if __name__ == "__main__":
    # 原始url中存在非ASCII编码的值，则该url无法被使用。
    # url = "http://www.baidu.com/s?ie=utf-8&kw=周杰伦"
    # 处理url中存在的非ASCII数据值
    url = "http://www.baidu.com/s?"
    # 将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是"?"后面键值形式的请求参数
    param = {
        ‘ie‘:‘utf-8‘,
        ‘wd‘:‘zhou‘
    }
    # 使用parse子模块中urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码
    param = urllib.parse.urlencode(param)
    # 将编码后的数据和url进行整合拼接成一个完整可用的url
    url = url + param
    # 将浏览器的UA数据获取，封装到一个字典中，该UA值可以通过抓包工具或者浏览器自带的开发者工具中获取某请求，从中获取UA的值
    headers = {
        ‘User-Agent‘:‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36‘
    }
    # 自定义一个请求对象
    # 参数：url为请求的url。headers为UA的值。data为post请求参数
    request = urllib.request.Request(url=url,headers=headers)
    # 发送我们自定义的请求（该请求的UA已经进行了伪装）
    response = urllib.request.urlopen(request)

    data = response.read()

    with open(‘./zhou.html‘,‘wb‘) as fp:
        fp.write(data)
    print(‘写入数据完毕‘)