码迷,mamicode.com
首页 > 编程语言 > 详细

[Python]爬虫v0.1

时间:2015-06-20 20:51:01      阅读:157      评论:0      收藏:0      [点我收藏+]

标签:

#coding:utf-8
import urllib
######
#爬虫v0.1 利用urlib2 和 字符串内建函数
######

# 获取网页内容
def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

def content(html):
    # 内容分割的标签
    str = <article class="article-content">
    content = html.partition(str)[2]
    str1 = <div class="article-social">
    content = content.partition(str1)[0]
    return content # 得到网页的内容
    
def title(content,beg = 0):
    # 思路是利用str.index()和序列的切片
    try:
        title_list = []
        while beg >=0:   
            num1 = content.index(,beg)
            num2 = content.index(</p>,num1)
            title_list.append(content[num1:num2])
            beg = num2
        
    except ValueError:
         return title_list
        
        
    
def get_title():
    # 利用循环更新num1和num2,从而匹配出全部title
    pass
    
content = content(getHtml("http://bohaishibei.com/post/10449/"))
#num = content.index(‘】‘)
title = title(content)
for i,e in enumerate(title):
    print 第%d个,title:%s % (i,e)

# 今天爬的单个页面的title

只是粗略的记录写爬虫的过程和思路,本来打算直播的,但是我们十一点断电断网。明天续写这个文章,直播写爬虫。哈哈哈,虽然基础,但是也是写出来吧。

 

[Python]爬虫v0.1

标签:

原文地址:http://www.cnblogs.com/xueweihan/p/4590962.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!