码迷,mamicode.com
首页 > 编程语言 > 详细

[Python]python爬虫简单试用

时间:2017-10-05 15:08:20      阅读:223      评论:0      收藏:0      [点我收藏+]

标签:a标签   简单   get   pre   port   .com   logs   python3.4   imp   

一直用的是python3.4版本,所以只用了urllib爬数据,然后使用BeautifulSoup做为分析。

1、首先安装BeautifulSoup,执行命令如下:

pip install BeautifulSoup4

2、第二步开始写代码,就以我的博客为例,其实代码很简单

from urllib import request
from bs4 import BeautifulSoup

fp = request.urlopen("http://www.cnblogs.com/youyuan1980/")
html = fp.read()
soup = BeautifulSoup(html, ‘html.parser‘)
for div in soup.find_all(‘a‘,attrs={"class":"postTitle2"}):
    print(div.get(‘href‘))        #显示a标签属性的href
    print(‘text:‘+div.get_text()) #显示a标签里面的text

不用解释,看看就明白了。

 

[Python]python爬虫简单试用

标签:a标签   简单   get   pre   port   .com   logs   python3.4   imp   

原文地址:http://www.cnblogs.com/youyuan1980/p/7629193.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!