码迷,mamicode.com
首页 > 其他好文 > 详细

爬取校园新闻首页的新闻

时间:2018-04-04 23:19:27      阅读:193      评论:0      收藏:0      [点我收藏+]

标签:log   http   .com   coding   break   image   post   html   soup   

import requests
from datetime import datetime
from bs4 import BeautifulSoup
url ="http://news.gzcc.cn/html/xiaoyuanxinwen/"
res=requests.get(url)
res.encoding=utf-8
soup = BeautifulSoup(res.text,html.parser)
for s in (soup.select(li)):
    if(len(s.select(.news-list-title))>0):
        title=(s.select(.news-list-title)[0].text)#标题
        d=(s.select(.news-list-description)[0].text)
        a=s.a.attrs[href]#链接
        resd=requests.get(a)
        resd.encoding=utf-8
        soupd = BeautifulSoup(resd.text, html.parser)

        timet = soupd.select(.show-info)
        c = soupd.select(#content)[0].text#正文
        e= soupd.select(.show-info)[0].text
        message=e.split()
        time=message[0]+ + message[1]#时间
        author=message[2]#作者
        safer=message[2]#审核
        come=message[3]#来源
        pho=message[4]#摄影
        click=message[5]#点击
        print(标题+ : + title )
        print(链接 + :  + a)
        print(正文 +  : + c)
        print(time)
        print(author)
        print(safer)
        print(come)
        print(pho)
        print(click)
        break

截图:

技术分享图片

 

爬取校园新闻首页的新闻

标签:log   http   .com   coding   break   image   post   html   soup   

原文地址:https://www.cnblogs.com/LauSir139/p/8718962.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!