python BeautifulSoup获取 网页链接的文字内容

标签：python beautifulsoup 爬虫 获取网页里的链接的文字内容

这里和 获取链接略有不同，不是得到链接到url，而是获取每个链接的文字内容

#!/opt/yrd_soft/bin/python

import re
import urllib2
import requests
import lxml
from bs4 import BeautifulSoup

url = ‘http://www.baidu.com‘

#page=urllib2.urlopen(url)
page=requests.get(url).text
pagesoup=BeautifulSoup(page,‘lxml‘)
for link  in pagesoup.find_all(name=‘a‘,attrs={"href":re.compile(r‘^http:‘)}):
    print link.get_text()

本文出自 “linux与网络那些事” 博客，请务必保留此出处http://khaozi.blog.51cto.com/952782/1793077

python BeautifulSoup获取 网页链接的文字内容

标签：python beautifulsoup 爬虫 获取网页里的链接的文字内容

原文地址：http://khaozi.blog.51cto.com/952782/1793077