Python简单的爬虫

最简单的爬虫

# -*- coding : utf-8 -*-
import urllib

url = ‘http://www.baidu.com‘

html = urllib.urlopen(url)

print html.read()

也可以打印出网页的其他信息

#获取状态码
print html.getcode()

#获取传入的参数
print html.geturl()

#获取网页的head信息
print html.info()

编码问题

# -*- coding : utf-8 -*-
import urllib

url = ‘http://www.163.com/‘

html = urllib.urlopen(url)

#转换成我们想要的编码
print html.read().decode(‘gbk‘).encode(‘utf-8‘)

# 如果编码不统一，一个网页包含多个编码，可能会有一些字符无法正常被转换，可能报错
# 可以使用一下方法

print html.read().decode(‘gbk‘,‘ignore‘).encode(‘utf-8‘)

带进度条的爬虫

# -*- coding : utf-8 -*-
‘‘‘
带进度条的爬虫
‘‘‘

import urllib

‘‘‘
  显示下载进度，可以是文件或者网页
  参数说明 1)网址 2)本地的网页保存路径+文件名 3) 一个函数调用，这个函数
  必须要有三个参数
  1.到目前为止传递的数据块数量
  2.每个数据块的大小，单位是byte，字节
  3.远程文件的大小
‘‘‘

def callback(receivedData,weight,dataSize):  
    ‘‘‘
    receivedData 已经接收的文件的大小
    weight 每个文件 的大小
    dataSize 目标文件的大小
    ‘‘‘
    downloadProcess = 100.0 * receivedData * weight / dataSize
    if downloadProcess > 100:
        downloadProcess = 100
    print ‘%.2f%%‘ % downloadProcess    

url = ‘http://www.163.com‘

local = ‘D:\\pythonfile\\html.html‘

urllib.urlretrieve(url,local,callback)