码迷,mamicode.com
首页 > 其他好文 > 详细

采集大众点评、美团等数据进行大数据挖掘

时间:2016-07-04 01:14:47      阅读:469      评论:0      收藏:0      [点我收藏+]

标签:

当你有了一只美丽的爬虫后你可以做很多有意思的事情,比如爬虫爬到了很多餐饮数据后就可以做餐饮地区活跃度分析了,这些分析指标是很有意义的,特别是对准备开店的人。
首先要将数据从大众点评、美团或其他网站数据采集下来,方式可以从美食产品入口,然后找到餐饮公司信息,然后找到地址,地区等信息。采集的时候要做好防重策略,这样可以节省很多时间,还有就是不要并发太大,以免影响正常的业务。将采集到的数据写入数据库,以备后用。
有了这些数据就可以对餐饮公司的分布做统计分析了,能很容易统计出某个城市餐饮公司的地区分布情况,当然你可以找一个好看的数据显示图表进行展示。
只做这些就过于简单了,如果得到餐饮分布的变化情况呢,爬虫另一个技能,增量采集,这个需要后台进行定时做数据的增量采集,所谓的变化就是在时间轴移动过程中,Y轴的变动情况,有了增量数据,这个也很容易了。
另一个需要关注的是哪些餐饮公司比较活跃,生意比较好,一次类推哪些分类的生意比较好,从另一个角度上来说就是这个地区的人更喜欢那些餐饮类型,甚至于不同的季节餐饮喜好的变化等等。
在这上面有很多事情可以做,有点意思。

转载请注明出处 数荟集(专业数据提供) http://www.shuhuiji.com/detail.jsp?id=9

采集大众点评、美团等数据进行大数据挖掘

标签:

原文地址:http://www.cnblogs.com/shuhuiji/p/5639231.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!