码迷,mamicode.com
首页 > 数据库 > 详细

豆瓣电影top250爬取并保存在MongoDB里

时间:2018-06-30 14:42:21      阅读:166      评论:0      收藏:0      [点我收藏+]

标签:gre   code   分享   创建项目   ring   count   sort   删除   start   

首先回顾一下MongoDB的基本操作:

 

数据库,集合,文档
db,show dbs,use 数据库名,drop 数据库
db.集合名.insert({})
db.集合名.update({条件},{$set:{}},{multi:true})
db.集合名.remove({条件})
db集合名.find({条件},{投影}).limit().skip().sort().count().distinct()

数据库 增加 修改 删除 查询
mysql	insert update delete select
redis	set	set	del	get
mongodb	insert	update	remove	find,aggregate

string
hash
list
set
zset

增加
mysql:insert into 表名(列) values(值)
mongo:db.集合名.insert({})

修改:
mysql:update 表名 set 列=值 where 条件
mongo:db.集合名.update({条件},{值$set},{是否修改多条})

删除:
mysql:delete from 表名 where ....
mongo:db.集合名.remove({条件},{是否删除多条})

查询:
db.stu.find({},{})
比较运算符,逻辑运算符,$where
limit(),skip(),sort(),count(),distinct()

 技术分享图片

 

 

 

 

 

首先使用xpath提取出要爬取的信息:我们这个项目需要爬取的信息有:标题,信息,评分,简介

 

第一页链接:https://movie.douban.com/top250

第二页链接:https://movie.douban.com/top250?start=25&filter=

第三页链接:https://movie.douban.com/top250?start=50&filter=

规律:https://movie.douban.com/top250?start=\d+&filter=

 

标题://a/span[@class="title"][1]

信息://div[@class="bd"]/p[1]/text()

评分://div[@class="star"]/span[2]/text()

简介://span[@class="inq"]/text()

 

 

然后使用sscrapy startproject douban   创建项目

              sscrapy genspider dopuban  movie.douban.com

然后依次编写下面的文件:

技术分享图片items.py
技术分享图片doubanmovie.py
技术分享图片settings.py
技术分享图片pipelines.py

 

 

 

      

豆瓣电影top250爬取并保存在MongoDB里

标签:gre   code   分享   创建项目   ring   count   sort   删除   start   

原文地址:https://www.cnblogs.com/lmx123/p/9246716.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!