标签：python beautifulsoup 爬虫 获取网页里的链接
简介：
通过BeautifulSoup 的 find_all方法，找出所有a标签中的href属性中包含http的内容，这就是我们要找的网页的一级链接（ 这里不做深度遍历链接）
并返回符合上述条件的a标签的href属性的内容，这就是我们要找的某个网页的所带有的一级链接
#!/opt/yrd_soft/bin/python
import re
import urllib2
import requests
import lxml
from bs4 import BeautifulSoup
url = ‘http://www.baidu.com‘
#page=urllib2.urlopen(url)
page=requests.get(url).text
pagesoup=BeautifulSoup(page,‘lxml‘)
for link in pagesoup.find_all(name=‘a‘,attrs={"href":re.compile(r‘^http:‘)}):
#print type(link)
print link.get(‘href‘)本文出自 “linux与网络那些事” 博客，请务必保留此出处http://khaozi.blog.51cto.com/952782/1793072
beautifulsoup库简单抓取网页--获取所有链接例子
标签：python beautifulsoup 爬虫 获取网页里的链接
原文地址：http://khaozi.blog.51cto.com/952782/1793072
