码迷,mamicode.com
首页 > 其他好文 > 详细

网络爬虫基础练习

时间:2018-03-29 21:20:35      阅读:159      评论:0      收藏:0      [点我收藏+]

标签:标签   list   url   分享   bsp   nts   get   int   rom   

import requests
url=‘http://localhost:63342/zjc/news.html?_ijt=p2l5n0shp613m01ad0jlpobino‘
res=requests.get(url)
res.encoding=‘utf-8‘

from bs4 import BeautifulSoup
soup=BeautifulSoup(res.text,‘html.parser‘)

取出h1标签的文本

print(soup.h1.text)

  技术分享图片

取出a标签的链接

s=soup.a.attrs[‘href‘]
print(s)

  技术分享图片

取出所有li标签的所有内容

s=soup.select(‘li‘)
print(s)

  技术分享图片

取出一条新闻的标题、链接、发布时间、来源

s0=soup.select(‘.news-list-title‘)[0].text
s1=soup.body.li.a.attrs[‘href‘]
s2=soup.select(‘.news-list-info‘)[0].contents[0].text
s3=soup.select(‘.news-list-info‘)[0].contents[1].text
print(s0+"\n"+s1+"\n"+s2+"\n"+s3)

  技术分享图片

 

网络爬虫基础练习

标签:标签   list   url   分享   bsp   nts   get   int   rom   

原文地址:https://www.cnblogs.com/04JC/p/8672089.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!