爬取B站热门视频排行榜

#导入需要用到的模块
import requests
import bs4
import re
import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd

plt.rcParams[‘font.sans-serif‘]=[‘SimHei‘]#用来正常显示中文
plt.rcParams[‘axes.unicode_minus‘]=False#用来正常显示负号

def get_url(url):#获取网页内容
    #伪装用户
    headers = {‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3706.400 SLBrowser/10.0.4040.400‘}
    try:
        #尝试获取网页    
        f = requests.get(url,headers = headers)
        #如果状态码不是200则引发异常
        f.raise_for_status()
        #编码
        f.encoding = f.apparent_encoding
        #返回获取的网页
        return f.text
        
    except:
        #状态码不是200打印产生异常
        print(‘产生异常‘)

def bs(text):
    #将读取到的网页解析
    soup = bs4.BeautifulSoup(text,‘html.parser‘)
    return soup
       
def cont_ent(soup):
    #提取排行前100的标题
    m = soup.find_all(‘a‘,class_="title") 
    n=[]
    for i in m:
        n.append(i.text)
    return (n)#整理成列表

def cont_ent2(soup):
    #提取播放量，弹幕，作者
    x = soup.find_all(‘span‘,class_="data-box")
    n=[]
    for i in x:
        n.append(i.text)
    return (n)#整理成列表

def cont_ent3(soup):
    #提取综合得分
    k = soup.find_all(‘div‘,class_="pts")
    n=[]
    for i in k:
        #因为分数没有过千万的所以可以搜集千万以内的数字
        c=re.search(‘\d?\d?\d?\d?\d?\d?\d?\d?‘,i.text)
        n.append(eval(c.group()))
    return (n)#整理成列表

#把之前提取播放量，弹幕，作者再进行整理
def bofang(cone):#播放量
    m=3
    n=[]
    for i in cone:
        if m%3==0:
            n.append(i)
        m+=1
    return n
def danmu(cone):#弹幕
    m=2
    n=[]
    for i in cone:
        if m%3==0:
            n.append(i)
        m+=1
    return n
def zuozhe(cone):#作者
    m=1
    n=[]
    for i in cone:
        if m%3==0:
            n.append(i)
        m+=1
    return n
    

def main():
    #哔哩哔哩热搜视频排行链接
    url = ‘https://www.bilibili.com/ranking?‘
    #获取网页
    some = get_url(url)
    #解析网页
    soup = bs(some)
    ‘‘‘with open(‘try2.txt‘,‘w‘,encoding=‘utf-8‘) as f:
        f.write(soup.text)#测试写代码过程中是否出错‘‘‘
    #数据处理
    #提取标题
    title = cont_ent(soup)
    #提取播放量，弹幕，作者
    cone = cont_ent2(soup)
    #提取综合得分
    score = cont_ent3(soup)
    ‘‘‘
    with open(‘title.txt‘,‘w‘,encoding=‘utf-8‘) as f:
        for i in title:
            f.write(str(title.index(i)+1)+‘.‘)
            f.write(i)
            f.write(‘\n‘)
    
    with open(‘cone.txt‘,‘w‘,encoding=‘utf-8‘) as f:
        for i in cone:
            f.write(i)
            f.write(‘\n‘)
    
    with open(‘score.txt‘,‘w‘,encoding=‘utf-8‘) as f:
        for i in score:
            f.write(i)
            f.write(‘\n‘)
    ‘‘‘   #导出数据查看是否有误
    bfl = bofang(cone)
    dm = danmu(cone)
    zz = zuozhe(cone)
    
    
    df = pd.DataFrame({‘排名‘:range(1,101),‘标题‘:title,‘播放量‘:bfl,‘弹幕量‘:dm,‘作者‘:zz,‘综合得分‘:score})
    df.to_excel(‘b站热门视频排行前100.xlsx‘)
    
    
    #因数据太多所以挑排名前几的作图
    #柱状图
    plt.bar(range(1,21),score[:20])
    plt.xlabel(‘排名‘)
    plt.ylabel(‘综合得分‘)
    plt.title(‘前几名的综合得分柱状图‘)
    plt.show()
    
    #散点图
    plt.scatter(range(1,21),score[:20])
    plt.xlabel(‘排名‘)
    plt.ylabel(‘综合得分‘)
    plt.title(‘前几名的综合得分柱状图‘)
    plt.show()
    
    #回归分析
    file_path = "b站热门视频排行前100.xlsx"

    dataf = pd.read_excel(file_path)

    sns.lmplot(x=‘排名‘,y=‘综合得分‘,data=dataf)

    
main()