中国大学排名爬虫

标签：exce   request   code   status   data-   das   上海   end   ali   

1.这方面的知识掌握不是很熟练，根据教员讲解和课本，试着模仿着做了中国大学排名爬虫

2.代码如下

import request
from bs4 import BeautifulSoup
allUniv=[]
def getHTMLText(url):
try:
r=request.get(url,timeout=30)
r.raise_for_status()
r.encoding = ‘utf-8‘
return r.txt
except:
return ‘ERROR‘
def fillUnivList(soup):
data = soup.find_all(‘tr‘)
for tr in data:
ltd = tr.data_all(‘td‘)
if len(ltd)==0:
continue
singleUniv=[]
for td in ltd:
singleUniv.append(td.string)
allUniv.append(singleUnive)
def printUnivList(num):
print("{:^4}{:^10}{:^5}{:^8}{:^10}".format("排名","学校名称","省市","总分","培养规模"))
for i in range(num):
u=allUniv[i]
print("{:^4}{:^10}{:^5}{:^8}{:^10}".format(u[0],u[1],u[2],u[3],u[6]))
def main(num):
url=‘http://www.zuihaodaxue.cn/\
zuihaodaxuepaiming2019.html‘
html = getHTMLText(url)
soup = BeautifulSoup(html,"html.parser")
fillUnivList(soup)
printUnivList(num)
main(10)

3.结果

       排名    学校名称                        省市          总分      培养规模   

中国大学排名爬虫

标签：exce   request   code   status   data-   das   上海   end   ali   

原文地址：https://www.cnblogs.com/Niuyiming7/p/12866305.html