Python高级应用程序设计任务

import requests
import re
import pandas as pd

def get_html(url):
    ‘‘‘
        定义一个获取网页的函数
    ‘‘‘
    try:
        hed = {
            ‘User-Agent‘: ‘Mozilla/5.0‘,
        }
        r = requests.get(url,headers = hed)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ‘爬取失败‘


url = ‘https://go.hao123.com/ticket‘
html = get_html(url)
# 获取url链接
city_url = r‘data-option="city" data-val=".*?">(.*?)</a>‘
city_list = re.findall(city_url,html)
new_city = []
for i in city_list:
    new_city.append(‘https://go.hao123.com/ticket?search=‘ + i)

# 使用pandas储存数据
pd.set_option(‘display.unicode.ambiguous_as_wide‘, True)
pd.set_option(‘display.unicode.east_asian_width‘, True)
column = [‘景点‘,‘价格‘,‘位置‘,‘累计售票‘,‘游客满意度（%）‘,‘游客点评（条）‘,‘门票预订时间‘]
s1 = pd.DataFrame(columns=column)
# 逐个页面获取数据
x = 0
for new_url in new_city:
    html = get_html(new_url)

    # 获取景点名
    req1 = r‘<a class="title g-ib g-tover" href=".*?" target="_blank">(.*?)<span class="small">‘
    data1 = re.findall(req1,html)

    # <div class="des g-tover">累计售票<em>342</em>张，游客满意度：<em>50%</em>，游客点评<em>68</em>条</div>
    req2 = r‘<div class="des g-tover">累计售票<em>(.*?)</em>张，游客满意度：<em>(.*?)</em>，游客点评<em>(.*?)</em>条</div>‘
    data2 = re.findall(req2,html)

    # 获取景点地点
    req_pla = r‘<div class="address" title=\‘.*?\‘>(.*?)<a href="‘
    data_pla = re.findall(req_pla,html)

    # 获取票价
    req_pri = r‘<div class="price">￥(.*?)<i class="smaller">起</i></div>‘
    data_pri = re.findall(req_pri,html)

    # 获取售票时间
    re_time = r‘<div class="site-footer g-tover" title=".*?[\r\n]?.*?"><em class="limit">(.*?)</em>(.*?)[\r\n]?(.*?)</div>‘
    data_time = re.findall(re_time,html)

    for i in range(len(data1)):
        s1 = s1.append({‘景点‘:data1[i],‘价格‘:data_pri[i],‘位置‘:data_pla[i],‘累计售票‘:data2[i][0],‘游客满意度（%）‘:data2[i][1],‘游客点评（条）‘:data2[i][2],‘门票预订时间‘:data_time[i]}, ignore_index=True)
    print(‘保存{}成功‘.format(city_list[x]))
    x += 1

    # 在本地，将数据保存成xls格式
    s1.to_excel(‘旅游网1.xls‘)

    if x == len(city_list):
        break

import requests
import pandas as pd
import matplotlib.pyplot as plt


# 可视化时能显示中文
plt.rcParams[‘font.sans-serif‘] = [‘SimHei‘]

# pandas不能对齐，要设置pandas的参数
pd.set_option(‘display.unicode.ambiguous_as_wide‘, True)
pd.set_option(‘display.unicode.east_asian_width‘, True)

# 显示所有的行和列，并设置value的显示长度为100
pd.set_option(‘display.max_columns‘, 100)
pd.set_option(‘display.max_rows‘, 100)
pd.set_option(‘max_colwidth‘,100)

# 使pandas打印出来不会换行
pd.set_option(‘display.width‘,500)

# 读取excel中的内容，并保存到df中
# Tourism website
tw = pd.read_excel(‘旅游网1.xls‘)
tw.name = ‘旅游网‘

# 查看数据前五行
print(tw.head())

# 删除无用的列
tw = tw.drop(‘Unnamed: 0‘,axis=1)

#查找是否有重复值
print(tw.duplicated())

# 把重复值删除，并在进行查看删除后的结果
tw = tw.drop_duplicates()
print(tw.duplicated())

# 查看价格是否有空值或缺失值
print(tw[‘价格‘].isnull().value_counts())

# 通过选取含有特殊值的列来删除带有异常值的行
tw = tw[~tw[‘景点‘].isin([‘{{$value.title}}‘])]

# 查看位置的信息
print(tw[‘位置‘].value_counts())

# 查看游客满意度信息
print(tw[‘游客满意度（%）‘].value_counts())

# 查看点评最多的前15个景点
print(tw.sort_values(‘游客点评（条）‘,ascending=False).head(15)[‘景点‘])

# 查看价格前15的景点
print(tw.sort_values(‘价格‘,ascending=False).head(15)[‘景点‘])

# 搜索所有景点名称
xyf = []
for i in tw[‘景点‘]:
    xyf.append(i)
xyf_series = pd.Series(xyf).drop_duplicates()
# 打印前10个
print(xyf_series.head(10))

# 满意度和价格的分布情况
# plt.scatter(tw[‘游客满意度（%）‘],tw[‘价格‘])
# plt.show()

# 游客满意度和价格的柱状图
a = tw[‘游客满意度（%）‘]
b = tw[‘价格‘]
plt.bar(a,b)
plt.xlabel(‘游客满意度（%）‘)
plt.ylabel(‘价格‘)
plt.show()

# 数据持久化
# s1.to_excel(‘旅游网1.xls‘)