标签：贪婪 tle exec ret from 学习心得 code 数据 tmp
用python写了一个采集程序，因为之前写了大半年的php数据采集，所以转用python做的话，流程差不多，就是换成python的语法函数实现就行了，不过通过用python实现，可以学习下python的一些东西
#python和php的差异是什么，python相对于php有哪些优势
这几天学习的感受是，python的适用应用范围更广，更灵活，而PHP主攻web后端。
首先python和PHP差别还是蛮多的，比如注释中有中文都要声明一下
#decoding=utf-8
#引入
#urllib 后续的数据采集用到，php的话经常用 file_get_content(url),curl类去获取远程网站地址
import urllib
#不像PHP，python用到的很多功能都需要提前import一下，php的话其实也需要这种import一样的操作，只不过估计都丢到ini初始化文件里了
import re
import os
import sys
import MySQLdb
import hashlib
global cur
global conne
def connnect_db():
global conne
global cur
conne= MySQLdb.connect(
host=‘localhost‘,
port = 3306,
user=‘root‘,
passwd=‘xxxx‘,
db =‘lk_xxxx‘,
charset = ‘utf8‘, #指定一下字符编码类型，不然插入中文又是乱码了
unix_socket="/tmp/mysql.sock" #这里php在配置里指定了，python估计也有配置，但是没找到， 直接在这里指定了
)
cur = conne.cursor()# 这个cursor是游标，光标的意思，这里用这个单词可能是有取资源定位符对象的意思，后边就用这个cursor操作数据库了
def get_md5(src): #相比较php直接一个md5函数求md5指，python就看着复杂了点
myMd5 = hashlib.md5()
myMd5.update(src)
myMd5_Digest = myMd5.hexdigest()
return myMd5_Digest
#保存link信息
def save_link(url,title):
link_md5=get_md5(url)
sql="SELECT * FROM lk_link WHERE link_md5 = ‘"+link_md5+"‘"
print sql
cur.execute(sql)
result=cur.fetchone()
print result
if result == None:
domain=url.replace(‘http://‘,‘‘)
domain=domain.replace(‘https://‘,‘‘)
#类似于PHP的trim()
domain=domain.strip(‘/‘);
domain=domain+‘/‘;
endpos=domain.find(‘/‘)
#这个字符截取方式看起来也是与众不同，因为都没用到函数
domain=domain[0:endpos]
#这里注意一下 对于utf8 截取3个字节是一个汉字，这和编码有关
title=title.decode(‘utf8‘)[0:3*48].encode(‘utf8‘)
insert_sql="INSERT INTO `lk_homepage`.`lk_link` (`domain`, `link`, `title`, `link_md5`) VALUES(‘"+domain+"‘,‘"+url+"‘,‘"+title+"‘,‘"+link_md5+"‘)"
cur.execute(insert_sql)
#每执行一个语句，都要commit一下，这很符合mysql的操作，但在php里可能直接封装了
conne.commit()
#获取一个网页的内容
def get_url(url):
#php用preg_replace实现的功能，这里用的 re.sub，缩写的太厉害了，好记也不好记
cache_name=re.sub(‘[^a-z|0-9]{1}‘,‘_‘,url)
print cache_name
filename = cache_name+‘.txt‘
if os.path.exists(filename):
f=open(filename,‘r‘)
content = f.read()
f.close()
print ‘read cache ‘+url+‘.txt‘
else:
content=urllib.urlopen(url).read() # open and read it!!
f=open(filename,‘w‘) # 文件操作，如果不存在，则创建
f.write(content)
f.close()
print ‘new get ‘+filename+‘.txt‘
return content
base_url=‘http://xxxx_page.html‘
connnect_db()
i=1;
while i<124:
if i==1:
url = base_url.replace(‘_page‘,‘‘)
else:
url=base_url.replace(‘page‘,str(i))
print ‘爬取当中,当前第%d页...‘ % i
content=get_url(url)
tmp_reg = ‘rightTxtHead"><a href="(.*?)"‘
aft = re.findall(tmp_reg,content)
for url_1 in aft:
#继续进入下层地址
content1=get_url(‘http://xxxx‘+url_1)
# 匹配这里花了很多时间，有时间还需要继续整理一下！
# tmp_reg1 = ‘<p class="webIntro">([.\s\S]*)</p><ul><a href="([^"]+)"‘
tmp_reg1 = ‘<p class="webIntro">([.\s\S]*?)</p><ul><a href="([.\s\S]*?)"‘
# .+ -> 这是贪婪 .*? ->非贪婪 PHP 的话是 /reg/U 用是否加U来区分
# print content1
# 用findall 来匹配 ，类似于 PHP的preg_match_all 但是又不一样，特别是返回结果的数组结构
aft_1 = re.findall(tmp_reg1,content1)
#!!!!!匹配结果如果有中文，直接print会是乱码一样的东西，要进一步循环到那个元素 打印才可以看到中文，这和PHP又不一样
for match in aft_1:
tit=match[0]
url_web=match[1]
save_link(url_web,tit)
#用i++居然不行，又一个不同的地方，记住
i+=1
print ‘over!‘
cur.close()
conne.close()
以上是用python直接写爬虫的学习心得，因为是直接写，反过来查python的知识，所以这次是边用边学，这种反过来的方法有一定好处，但是后面一定要系统的学一下。
标签：贪婪 tle exec ret from 学习心得 code 数据 tmp
原文地址：http://www.cnblogs.com/luckylihuizhou/p/6647371.html
