码迷,mamicode.com
首页 > 编程语言 > 详细

python3简单爬虫

时间:2014-05-25 22:07:34      阅读:449      评论:0      收藏:0      [点我收藏+]

标签:class   blog   c   code   http   a   

最近在抽空学了一下python,于量就拿爬是练了下手,不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#test rdp
import urllib.request
import re<br>
#登录用的帐户信息
data={}
data[‘fromUrl‘]=‘‘
data[‘fromUrlTemp‘]=‘‘
data[‘loginId‘]=‘12345‘
data[‘password‘]=‘12345‘
user_agent=‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)‘
#登录地址
postdata = urllib.parse.urlencode(data) 
postdata = postdata.encode(‘utf-8‘)
headers = { ‘User-Agent‘ : user_agent }
#登录 
res = urllib.request.urlopen(url,postdata)
#取得页面html<br>strResult=(res.read().decode(‘utf-8‘))
#用正则表达式取出所有A标签
p = re.compile(r‘<a href="(.*?)".*?>(.*?)</a>‘)
for m in p.finditer(strResult):
    print (m.group(1))#group(1)是href里面的内容,group(2)是a标签里的文字

 

关于cookie、异常等处理看了一下,没有花时间去处理,毕竟只是想通过写爬虫来学习python。

想要深入的去看这个系列的文章,写得非常详细了。

[Python]网络爬虫

 下面是python语法教程,真的只要几分钟就能看完。

Python3 入门教程

python3简单爬虫,布布扣,bubuko.com

python3简单爬虫

标签:class   blog   c   code   http   a   

原文地址:http://www.cnblogs.com/liqiao/p/3721986.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!