新浪新闻按keyword抓取实例

import urllib2
import requests
#import MySQLdb
import webbrowser
import string
import re
from BeautifulSoup import BeautifulSoup
def getHtml(page):#获取网址内容
    page=str(page)
    html=requests.get("http://search.sina.com.cn/?q=%BD%F0%D0%E3%CF%CD&range=all&c=news&sort=time&page="+page).text
    return html
def getPage():#获得网页总数
    html=requests.get("http://search.sina.com.cn/?

range=all&c=news&q=%BD%F0%D0%E3%CF%CD&from=home").text   #网址
    soup=BeautifulSoup(‘‘.join(html))
    a=soup(‘div‘,{ ‘class‘ : ‘l_v2‘ })
    race=[]
    c=""
    race=str(a).split("新闻")[1].split("篇")[0].split(",")   #获取网址有多少页码
    b=len(race)
    for i in range(b):
        c+=race[i]
    b=string.atoi(c)/20
    return b
def getContents(html):#获取指定新闻内容
    soup=BeautifulSoup(‘‘.join(html))
    rs=re.compile("fgray_time")
    html=soup.findAll(‘span‘,attrs={‘class‘:rs})
    rs=re.compile("box-result clearfix")
    contents=soup.findAll(‘div‘,attrs={‘class‘:rs})
    for c in html:
        length=len(c.text.split(‘ ‘))
        if length==3:
                   source=c.text.split(‘ ‘)[0]#新闻来源
                   time=c.text.split(‘ ‘)[1]+‘ ‘+c.text.split(‘ ‘)[2]#新闻发表时间
                   print source
                   print time
        else:
                   time=c.text#新闻发表时间
                   source=‘‘#新闻来源
                   print time


    for i in contents:
        title= i.h2.a.text#新闻标题
        content= i.p.text#新闻简单介绍内容
##    print html
if __name__=="__main__":
    count=getPage()
    print 111
    for i in range(count):
        print getContents(getHtml(i))
    print 222