码迷,mamicode.com
首页 > 其他好文 > 详细

bs4

时间:2017-06-16 10:17:34      阅读:228      评论:0      收藏:0      [点我收藏+]

标签:包含   attribute   util   comm   简单的   mouse   python对象   rem   字符串   

对象的种类

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment 。

 

Tag

Tag对象与XML或者HTML原生文档中的tag相同:

soup = BeautifulSoup(<b class="boldest">Extremely bold</b>)
tag = soup.b
type(tag)
# <class ‘bs4.element.Tag‘>

Tag有很多方法和属性,其中最重要的两个属性是name、attributes。

Name:  

每个tag都有自己的名字,通过 .name 来获取:

tag.name
# u‘b‘

Attributes:

一个tag可能有很多个属性,tag<b class="boldest">有一个“class”的属性,值为"boldest",tag的属性的操作方法与字典相同:

tag[class]
# u‘boldest‘

也可以直接”点”取属性, 比如: .attrs (.attrs返回一个字典,包含该tag的所有属性和值):

tag.attrs
# {u‘class‘: u‘boldest‘}
tag.attrs["class"]
# u‘boldest‘

tag的属性可以被添加,删除或修改. 再说一次, tag的属性操作方法与字典一样。

多值属性

在Beautiful Soup中多值属性的返回类型是list:

 

css_soup = BeautifulSoup(<p class="body strikeout"></p>)
css_soup.p[class]
# ["body", "strikeout"]

css_soup = BeautifulSoup(<p class="body"></p>)
css_soup.p[class]
# ["body"]

 

 

可遍历的字符串

字符串常被包含在tag内.Beautiful Soup用 NavigableString 类来包装tag中的字符串:

tag.string
# u‘Extremely bold‘
type(tag.string)
# <class ‘bs4.element.NavigableString‘>

tag中包含的字符串不能编辑,但是可以被替换成其它的字符串,用replace_with()方法:

tag.string.replace_with("No longer bold")
tag
# <blockquote>No longer bold</blockquote>

 

BeasutifulSoup

BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象。

因为 BeautifulSoup 对象并不是真正的HTML或XML的tag,所以它没有name和attribute属性.但有时查看它的 .name 属性是很方便的,所以 BeautifulSoup 对象包含了一个值为 “[document]” 的特殊属性 .name:

soup.name
# u‘[document]‘

 

 

遍历文档树

 

子节点

Tag的名字

操作文档树最简单的方法就是告诉它你想获取的tag的name.如果想获取 <head> 标签,只要用 soup.head:

soup.head
# <head><title>The Dormouse‘s story</title></head>

soup.title
# <title>The Dormouse‘s story</title>

.contents和.children

tag的 .contents 属性可以将tag的子节点以列表的方式输出:

head_tag = soup.head
head_tag
# <head><title>The Dormouse‘s story</title></head>

head_tag.contents
[<title>The Dormouses story</title>]

title_tag = head_tag.contents[0]
title_tag
# <title>The Dormouse‘s story</title>
title_tag.contentshead_tag = soup.head
head_tag
# <head><title>The Dormouse‘s story</title></head>

head_tag.contents
[<title>The Dormouses story</title>]

title_tag = head_tag.contents[0]
title_tag
# <title>The Dormouse‘s story</title>
title_tag.contents
# [u‘The Dormouse‘s story‘]
# [u‘The Dormouse‘s story‘]

BeautifulSoup 对象本身一定会包含子节点,也就是说<html>标签也是 BeautifulSoup 对象的子节点:

len(soup.contents)
# 1
soup.contents[0].name
# u‘html‘

字符串没有 .contents 属性,因为字符串没有子节点。

通过tag的 .children 生成器,可以对tag的子节点进行循环:

for child in title_tag.children:
    print(child)
    # The Dormouse‘s story

 

bs4

标签:包含   attribute   util   comm   简单的   mouse   python对象   rem   字符串   

原文地址:http://www.cnblogs.com/limyel/p/7022134.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!