Python小爬虫-自动下载三亿文库文档

<p>
　　<a href="bp-602d123348d7c1c708a14sqb-1.html" title="视频会议系统" target="_blank">视频会议系统</a>
</p>

<a rel="nofollow" target="_blank" href="dlDoc-602d123348d7c1c708a14sqb-1-toword.doc">视频会议系统-第1页.doc</a>

# -*- coding: utf-8 -*-  
#----------------------------------------------------- 
#   功能：将访问的页面存储为html文件，并将页面内的文档下载至本地 
#   作者：chenbjin 
#   日期：2014-07-10  
#   语言：Python 2.7.6    
#-----------------------------------------------------

import string
import urllib
import urllib2
import re
import os

#函数功能：抓取begin-end页面，存入threeuPage文件夹中，并将其中的文档下载到threeuFile文件夹中。
def threeu_page(burl,url,begin_page,end_page) :
    
    #The directory to save web page
    sPagePath = ‘./treeuPage‘
    if not os.path.exists(sPagePath) : 
        os.mkdir(sPagePath)

    #The director to save downloaded file
    sFilePath = ‘./threeuFile‘
    if not os.path.exists(sFilePath) : 
        os.mkdir(sFilePath)

    for i in range(begin_page,end_page+1) :
        pn = (i-1)*25
        #自动填充成六位的文件名，eg:00001.html
        sName = sPagePath + ‘/‘+ string.zfill(i,5) + ‘.html‘
        print ‘Spidering the ‘ + str(i) + ‘ page ,saved to ‘ + sName + ‘...‘
        f = open(sName,‘w+‘)  
        user_agent = ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)‘
        headers = { ‘User-Agent‘ : user_agent }
        request = urllib2.Request(url+str(pn),headers = headers)

        try: 
            con = urllib2.urlopen(request, timeout=10).read()
            #正则匹配出文档的地址
            myItems = re.findall(‘<a href="bp-(.*?).html" title="(.*?)" target="_blank">(.*?)</a>‘,con,re.S)
            #print "Total : ",len(myItems)
            for item in myItems :
                print ‘Dowloading the ‘ +item[0] + "  "+ item[1].decode(‘gbk‘) + ‘...‘
                #下载文档
                durl = burl+item[0]+‘-toword.doc‘
                urllib.urlretrieve(durl,sFilePath+‘/‘+item[1].decode(‘gbk‘)+‘.doc‘)         
        except urllib2.URLError,e :
            print e
        else:
            f.write(con)
        f.close()

#这是三亿文库中“专业资料 > IT/计算机 > 互联网”的地址
burl = ‘http://3y.uu456.com/dlDoc-‘
iurl = ‘http://3y.uu456.com/bl-197?od=1&pn=‘
ibegin = 1
iend = 1
threeu_page(burl,iurl,ibegin,iend)
#end