码迷,mamicode.com
首页 > 其他好文 > 详细

scrapy爬取天气数据

时间:2017-08-15 10:23:57      阅读:190      评论:0      收藏:0      [点我收藏+]

标签:hub   天气   crawler   mongod   解析   目标   mongo   src   img   

看了scrapy,打算构建自己的天气数据,目标源:就是你了,中国天气网!

仔细点两下这个网站,发现可以由各个省、直辖市到省市所属的地级市,再到各县,页面在这:

技术分享

点开就可以看到中国所有的省、直辖市,但港澳台的天气数据没有,所以就把这三个地区过滤掉。

 

接下来,就是一步步的解析,基本上没什么好讲的,最后把结果存入mongodb。项目地址:

WeatherCrawler

scrapy爬取天气数据

标签:hub   天气   crawler   mongod   解析   目标   mongo   src   img   

原文地址:http://www.cnblogs.com/cool-fire/p/7361986.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!