码迷,mamicode.com
首页 > Web开发 > 详细

28.分析采集美团网站信息-3

时间:2018-12-04 22:39:58      阅读:348      评论:0      收藏:0      [点我收藏+]

标签:http   格式   获取   问题:   数据   data   class   情况   美团   

 
今天又捋一下思路,在兼职,也没时间去坐下来仔细思考分析问题:

1.首先获取分类,比如先获取美食,再划分其分类,分类里有火锅、蛋糕、小吃快餐等等后面都显示了共有多少个搜索结果。
技术分享图片
2.获取完分类id也知道了其总的结果个数,然后再配置请求data参数里的offset,其offset每次加载15条数据,可以根据获取的总个数n去算一共m页,再做循环请求m次。

3.没请求一次数据就会获取15条数据,是json格式的数据。
技术分享图片

技术分享图片

4.获取到请求的数据,再提取数据中的两个重要参数,poiid和ctpoi。
5.请求拼接url,进入详情页面。
如下所示:
https://meishi.meituan.com/i/poi/98254777?ct_poi=311181748887990495663158755820426747567_a98254777_c0_e9203518743247516983

技术分享图片

这里想要继续深度采集的话,比如,查看全部评价,则就需要再深一个层次。

其实自己也想尝试一下手机端去采集试一下的,可以试着看看情况。

值得注意的是这边也是被检测到异常了:
技术分享图片

 

28.分析采集美团网站信息-3

标签:http   格式   获取   问题:   数据   data   class   情况   美团   

原文地址:https://www.cnblogs.com/lvjing/p/10066834.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!