码迷,mamicode.com
首页 > 其他好文 > 详细

爬取饿了么商铺信息

时间:2018-05-08 23:55:28      阅读:896      评论:0      收藏:0      [点我收藏+]

标签:link   著作权   文件中   fill   get   com   sci   分享   mit   

分析:

当我们访问https://www.ele.me/home/时,看看我们得到了什么

 

 
技术分享图片
1.png

我们发现所有的城市名称和他的经纬度,还有一个风流的男子

然后随机输入一些东西看看,进入某个地区看一看

在新的界面里我们看到了这样一条url:

https://mainsite-restapi.ele.me/shopping/restaurants?extras%5B%5D=activities&geohash=wwwmd9jmc43&latitude=37.53579&limit=24&longitude=121.40618&offset=0&terminal=web

其中wwwmd9jmc43是用geohash算法通过经纬度计算出来的值,latitude=37.53579和longitude=121.40618是经纬度,在首页的json文件中可以获取到,offset=0代表从0开始,页面显示24家商铺信息,由此构建url

通过这条url我们可以获得店铺名称,店铺地址和店铺电话等信息

 

 
技术分享图片
2.png

geohash算法的python版

而最后我们所需要做的只不过就是一个循环而已

 

 
技术分享图片
7w多商家

作为一个小白,通过这个爬虫,感受到了爬虫的乐趣,又学到了很多系统性学习中学不到的技术点,岂不美哉



作者:浠嘻
链接:https://www.jianshu.com/p/cb69cf0ed04a
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

爬取饿了么商铺信息

标签:link   著作权   文件中   fill   get   com   sci   分享   mit   

原文地址:https://www.cnblogs.com/soundcode/p/9011652.html

(1)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!