标签：http 属性 爬虫 判断语句 movies tin 提取数据 github 问题
项目托管平台地址:https://github.com/xyhcq/top250
开发模块功能: 整合代码：写入文件的控制
开发时间:3小时左右
实现了：在上一名成员的程序基础上控制是否将信息写入到文件
实现过程：先声明一个变量作为开关
# 写入文件开关
writeFile = 1
writeFile=raw_input(‘是否需要将结果输出到文件，是为1，否为0，默认值为1：‘)
if writeFile != ‘1‘:
writeFile=0
else :
writeFile=1
然后在每项信息中加入判断语句：
def getData(html):
# 分析代码信息，提取数据
soup = BeautifulSoup(html, "html.parser")
# 找到第一个class属性值为grid_view的ol标签
movieList=soup.find(‘ol‘,attrs={‘class‘:‘grid_view‘})
# 找到所有的li标签
for movieLi in movieList.find_all(‘li‘):
# 找到第一个class属性值为hd的div标签
movieHd=movieLi.find(‘div‘,attrs={‘class‘:‘hd‘})
# 找到第一个class属性值为title的span标签 #也可使用.string方法
# 获取电影名字
movieName=movieHd.find(‘span‘,attrs={‘class‘:‘title‘}).getText()
print movieName
# 写入文件
if writeFile == 1:
f.write(‘电影名:‘+movieName.encode(‘utf-8‘)+‘ ‘)
else:pass
# 获取电影链接
movieUrl=movieHd.find(‘a class="" href="‘)
print movieUrl
# 写入文件
if writeFile == 1:
f.write(‘链接:‘+str(movieUrl)+‘ ‘)
else:pass
# 获取电影导演/演员
movieBd = movieLi.find(‘div‘, attrs={‘class‘: ‘bd‘})
movieSF=movieBd.find(‘p‘,attrs={‘class‘:‘‘}).getText()
print movieSF
# 写入文件
if writeFile == 1:
f.write(‘Staff:‘+movieSF.encode(‘utf-8‘)+‘ ‘)
else:pass
# 获取电影的评分
movieScore=movieLi.find(‘span‘,attrs={‘class‘:‘rating_num‘}).getText()
print movieScore
# 写入文件
if writeFile == 1:
f.write(‘评分:‘+movieScore.encode(‘utf-8‘)+‘ ‘)
else:pass
#获取电影的评论数
movieEval=movieLi.find(‘div‘,attrs={‘class‘:‘star‘})
movieEvalNum=re.findall(r‘\d+‘,str(movieEval))[-1]
print movieEvalNum
# 写入文件
if writeFile == 1:
f.write(‘评论数:‘+movieEvalNum.encode(‘utf-8‘)+‘ ‘)
else:pass
# 获取电影短评
movieQuote = movieLi.find(‘span‘, attrs={‘class‘: ‘inq‘})
# 有的电影没有短评，为防止报错，加次
if(movieQuote):
print movieQuote.getText()
# 写入文件
if writeFile == 1:
f.write(‘短评:‘+movieQuote.getText().encode(‘utf-8‘)+‘\n‘)
else:
# 写入文件
if writeFile == 1:
f.write(‘短评:‘+"这个电影没有短评"+‘\n‘)
else:pass
else:pass
遇到的问题及问题解决方法:
加完判断语句后报错，发现写成了‘if writeFile = 1:‘而用“=”是表示赋值，“==”才是比较。改成双等号解决。
标签：http 属性 爬虫 判断语句 movies tin 提取数据 github 问题
原文地址：http://www.cnblogs.com/lizhiyu0830/p/7739452.html
