码迷,mamicode.com
首页 > 编程语言 > 详细

python 极好用的解析 html 标签的模块 - BeautifulSoup

时间:2019-01-11 17:16:30      阅读:169      评论:0      收藏:0      [点我收藏+]

标签:baidu   content   port   string   html 标签   css   分享图片   节点   col   

  记录下各种使用姿态

  测试的 html 代码:

<html>
        <head>
            <title>Test</title>
        <body>
            <p class="title">
                <b>Test</b>
            </p>
            <div name="ele" class="story">
                "i‘m a div"
                <ul>
                    <li>
                        <a href="http://www.baidu.com" id="link1">
                            <img src="http://www.baidu.com" data-src=‘//www.baidu.com‘>
                        </a>
                    </li>
                    <li>
                        <a href="http://www.baidu.com" id="link2">
                            <img src="data:image/jpg;base64,covijfklawefonva...">
                        </a>
                    </li>
                </ul>
            </div>

  这里使用了 python 内置的解析器:

soup = BeautifulSoup(html, html.parser)

  开始输出

# 输出整个 html
print \n, soup.prettify()

技术分享图片

# title 标签
print \n, soup.title

技术分享图片

# title 标签名称
print \n, soup.title.name

技术分享图片

# title 标签内容
print \n, soup.title.string

技术分享图片

# title 标签的父级标签名称
print \n, soup.title.parent.name

技术分享图片

# p 标签(首个 p)
print \n, soup.p

技术分享图片

# p 标签名称
print \n, soup.p.name

技术分享图片

# p 标签下的 b 标签
print \n, soup.p.b

技术分享图片

# p 标签的 class 属性值,类型、数组首个值
print \n, soup.p["class"], type(soup.p["class"]), soup.p["class"][0]

技术分享图片

# 首个 a 标签
print \n, soup.a

技术分享图片

# 查找所有 a 标签, 类型数组
a_arr = soup.find_all(a)
for value in a_arr:
    print value

技术分享图片

# 查找 id = link2 的标签(特殊的标签属性可以不写 attrs)
print \n, soup.find(id=link2)

技术分享图片

# 查找 class 是 title 的标签
print \n, soup.find(attrs={class: title})

技术分享图片

# 查找 name 是 ele 的标签
print \n, soup.find(attrs={name: ele})

技术分享图片

# 查找 img,获取相应属性值
img_arr = soup.find_all(img)
for value in img_arr:
    print \n   , value[src]
    attrs = value.attrs
    for attr in attrs:
        print \n , attr
        if attr == data-src:
            print \n   , value[attr]

技术分享图片

# 获取 div 标签下所有子节点
print \n, soup.div.contents,

技术分享图片

# 获取 div 下第二个子节点
print \n, soup.div.contents[1]

技术分享图片

# 获取 div 下第二个子节点
print \n, soup.div.contents[1].li

技术分享图片

# 获取 b 标签的文本内容
print \n, soup.b.get_text()

技术分享图片

# 获取无值属性再判断是否None
print \n, soup.div.title, type(soup.div.title), soup.div.title == None, not soup.div.title

技术分享图片

# css 选择器 select()
print \n, soup.select(b)

技术分享图片

 

   最后,贴上测试代码

# -*- coding: utf-8 -*-


from bs4 import BeautifulSoup


def main():
    html = ‘‘‘
    <html>
        <head>
            <title>Test</title>
        <body>
            <p class="title">
                <b>Test</b>
            </p>
            <div name="ele" class="story">
                "i‘m a div"
                <ul>
                    <li>
                        <a href="http://www.baidu.com" id="link1">
                            <img src="http://www.baidu.com" data-src=‘//www.baidu.com‘>
                        </a>
                    </li>
                    <li>
                        <a href="http://www.baidu.com" id="link2">
                            <img src="data:image/jpg;base64,covijfklawefonva...">
                        </a>
                    </li>
                </ul>
            </div>
    ‘‘‘

    soup = BeautifulSoup(html, html.parser)
    # 输出整个 html
    # print ‘\n‘, soup.prettify()
    # title 标签
    # print ‘\n‘, soup.title
    # title 标签名称
    # print ‘\n‘, soup.title.name
    # title 标签内容
    # print ‘\n‘, soup.title.string
    # title 标签的父级标签名称
    # print ‘\n‘, soup.title.parent.name
    # p 标签(首个 p)
    # print ‘\n‘, soup.p
    # p 标签名称
    # print ‘\n‘, soup.p.name
    # p 标签下的 b 标签
    # print ‘\n‘, soup.p.b
    # p 标签的 class 属性值,类型、数组首个值
    # print ‘\n‘, soup.p["class"], type(soup.p["class"]), soup.p["class"][0]
    # 首个 a 标签
    # print ‘\n‘, soup.a
    # 查找所有 a 标签, 类型数组
    # a_arr = soup.find_all(‘a‘)
    # for value in a_arr:
    #     print ‘\n‘, value
    # 查找 id = link2 的标签(特殊的标签属性可以不写 attrs)
    # print ‘\n‘, soup.find(id=‘link2‘)
    # 查找 class 是 title 的标签
    # print ‘\n‘, soup.find(attrs={‘class‘: ‘title‘})
    # 查找 name 是 ele 的标签
    # print ‘\n‘, soup.find(attrs={‘name‘: ‘ele‘})
    # 查找 img,获取相应属性值
    # img_arr = soup.find_all(‘img‘)
    # for value in img_arr:
    #     print ‘\n   ‘, value[‘src‘]
    #     attrs = value.attrs
    #     for attr in attrs:
    #         print ‘\n ‘, attr
    #         if attr == ‘data-src‘:
    #             print ‘\n   ‘, value[attr]
    # 获取 div 标签下所有子节点
    # print ‘\n‘, soup.div.contents,
    # 获取 div 下首个子节点
    # print ‘\n‘, soup.div.contents[0]
    # 获取 div 下第二个子节点
    # print ‘\n‘, soup.div.contents[1]
    # 获取 div 下第二个子节点
    # print ‘\n‘, soup.div.contents[1].li
    # 获取 b 标签的文本内容
    # print ‘\n‘, soup.b.get_text()
    # 获取无值属性
    # print ‘\n‘, soup.div.title, type(soup.div.title), soup.div.title == None, not soup.div.title
    # not 取反
    # if not None:
    #     print None
    # css 选择器 select()
    print \n, soup.select(b)


# file onload
if __name__ == __main__:
    main()

python 极好用的解析 html 标签的模块 - BeautifulSoup

标签:baidu   content   port   string   html 标签   css   分享图片   节点   col   

原文地址:https://www.cnblogs.com/guofan/p/10255522.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!