码迷,mamicode.com
首页 > 其他好文 > 详细

BeautifulSoup模块的简单使用

时间:2015-05-07 22:12:08      阅读:150      评论:0      收藏:0      [点我收藏+]

标签:爬虫   beautifulsoup   python   

可以通过dir(BeautifulSoup.BeautifulSoup)查看其有什么函数,如果想知道某个函数的含义可以使用help(BeautifulSoup.BeautifulSoup.find)来查看其官方文档。

可以使用pprint来整输出,使用dir和help之前一定要import BeautifulSoup。


# -*- coding:utf8 -*-
import urllib
import urllib2
import BeautifulSoup
import re
 
htmlSource = urllib.urlopen("http://www.taobao.com/").read(200000)
soup = BeautifulSoup.BeautifulSoup(htmlSource)

#输出<head>...</head>
print soup.head

#输出<title>...</title>
print soup.head.title

#会返回一个列表,每个列表元素都是<a>...</a> 
tags = soup.findAll('a')
print tags

print '京东放养的爬虫'

#取<a></a>中间包含的元素,如果有href则输出
for item in soup.fetch('a',href=True):
    print item['href']
    
#找到所有的<a></a>,如果其中href元素中含有taobao则输出
for a in soup.findAll('a',href=True):
    if re.findall('taobao', a['href']):
        print "Found the URL:", a['href']
        
#输出<div></div>中间class属性等于J_Tanx mod,只输出第一个
print str(soup.find("div",{"class":"J_Tanx mod"}))




BeautifulSoup模块的简单使用

标签:爬虫   beautifulsoup   python   

原文地址:http://blog.csdn.net/djd1234567/article/details/45565865

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!