码迷,mamicode.com
首页 > 编程语言 > 详细

使用Python爬取腾讯房产的新闻,用的Python库:requests 、re、time、BeautifulSoup ????

时间:2017-04-26 13:07:59      阅读:499      评论:0      收藏:0      [点我收藏+]

标签:bsp   ppa   bre   import   htm   pil   gray   class   one   

import requests
import re
import time
from bs4 import BeautifulSoup

today = time.strftime(%Y-%m-%d,time.localtime(time.time()))

one_url = http://hz.house.qq.com    #用来构建新的URL的链接

url = http://hz.house.qq.com/zxlist/bdxw.htm      #需要爬取的网址
html = requests.get(url)
html.encoding = html.apparent_encoding
reg = re.compile(r<a target="_blank" class="tit f-l f16 blue" href="(.*?)">(.*?)</a><span class="tm f-r gray">(.*?)</span>)
html_lis = re.findall(reg,html.text)

for html_li in html_lis:
    new_url = one_url + html_li[0]
    new_time = html_li[2][0:10]             #分割获取到的新闻日期,对比今天的日期和获取到的新闻日期,相同的话就打印出来,不相同就跳过不打印
    if new_time == today:
        print(html_li[1],new_url)
        new_html = requests.get(new_url)            
        soup = BeautifulSoup(new_html.text,html.parser)
        contents = soup.find_all(p,style="TEXT-INDENT: 2em")
        for content in contents:
            if content.string != None:
                print(content.string)
            else:
                continue
        print(----------------------------下一篇新闻----------------------------)
    else:
        break
#可以建立函数来介绍代码的重复

 

使用Python爬取腾讯房产的新闻,用的Python库:requests 、re、time、BeautifulSoup ????

标签:bsp   ppa   bre   import   htm   pil   gray   class   one   

原文地址:http://www.cnblogs.com/114811yayi/p/6767883.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!