python爬虫

#!/usr/bin/env python
# coding: utf-8
#copyRight by heibanke

import urllib
from bs4 import BeautifulSoup
import re

html = urllib.urlopen(‘http://baike.baidu.com/view/284853.htm‘)
#通过urllib.urlopen来获取这个网址的内容
bs_obj = BeautifulSoup(html,"html.parser")
#通过beautifulSoup来实例化一个对象

#findAll(tag, attributes, recursive, text, limit, keywords)
#find(tag, attributes, recursive, text, keywords)
#recursive=False表示只搜索直接儿子，否则搜索整个子树，默认为True。
#findAll(“a”）
#findAll(“a”, href=“”)
#findAll(“div”, class=“”)
#findAll(“button”, id=“”)

#a_list = bs_obj.findAll("a")
a_list = bs_obj.findAll("a",href=re.compile("\.baidu\.com\w?"))#正则表达式处理
#这里的a是html中的一个标签
#<a> 标签定义超链接，用于从一张页面链接到另一张页面。
#<a> 元素最重要的属性是 href 属性，它指示链接的目标
print a_list

for aa in a_list:
    if not aa.find("img"):#图片的链接没有用
        if aa.attrs.get(‘href‘):
            print aa.text, aa.attrs[‘href‘]

# -*- coding: utf-8 -*-
# CopyRight by heibanke

import urllib
from bs4 import BeautifulSoup
import re


url=‘http://www.heibanke.com/lesson/crawler_ex00/‘
number=[‘‘]
loops = 0

while True:
    content = urllib.urlopen(url+number[0])

    bs_obj = BeautifulSoup(content,"html.parser")
    tag_number = bs_obj.find("h3")

    number= re.findall(r‘\d+‘,tag_number.get_text())
    
    if not number or loops>100:
        break
    else:
        print number[0]

    loops+=1


print bs_obj.text