标签：label head 信息 图片 put size exce div list
爬取的url：https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=
爬取职位名称，薪水，公司，待遇这些
抓包，找到信息加载为一个post请求返回
查看他携带的数据，里面是关键字(python)和页数(pn),这个sid每次都会改变，经测试，该post请求主要检查的是cookies，这个sid不需要(一次一次试出来的)
既然需要携带cookie，那我们首先建立一个session连接，获得cookie
1 s.get(url, headers=headers, timeout=3) 2 cookie = s.cookies
之后我们再用这个cookie构造post请求
1 response = s.post(url2, data=data, headers=headers, cookies=cookie) 2 html = response.text
成功返回json数据，之后解析json取出我们需要的数据就可以了
1 json_data = json.loads(html) 2 resulet = json_data[‘content‘][‘positionResult‘][‘result‘] 3 for datas in resulet: 4 positionName = datas[‘positionName‘] 5 companyShortName = datas[‘companyShortName‘] 6 companySize = datas[‘companySize‘] 7 salary = datas[‘salary‘] 8 workYear = datas[‘workYear‘] 9 positionAdvantage = datas[‘positionAdvantage‘] 10 city = datas[‘city‘] 11 firstType = datas[‘firstType‘] 12 secondType = datas[‘secondType‘]
最后将数据写入excel
取出薪水和公司名称做一个简单的可视化
可以看到成都的python岗位平均薪资12 - 20k
最低工资2k，最高工资60k
在20 - 30k工资的人数占比最高为30%，0-10k的人数占比还是挺低的，当然都有学历和工作经验的要求(我就懒得分析了)
标签：label head 信息 图片 put size exce div list
原文地址：https://www.cnblogs.com/Truedragon/p/12807426.html
