标签:创建 版本 表格 iba any down 查询 post 基础知识
MongoDB是一种跨平台,面向文档的NoSQL数据库,提供高性能,高可用性并且易于扩展。
包含数据库,集合,文档等几个重要概念。
我们在这里不介绍MongoDB的特点和用法了,感兴趣的可以查一下官方文档。
在此重点介绍如何使用python连接MongoDB,并通过PyMongo操作MongoDB数据库。
这里默认MongoDB已经安装好啦,安装教程可以参考:
http://www.yiibai.com/mongodb/mongodb_environment.html
感谢易百教程~~~~~
目前最新版本为3.5.1。请注意不要单独安装bson包了,否则会与PyMongo不兼容。
使用PyMongo时,第一步是运行mongod实例创建一个MongoClient,代码如下:
当然,在使用代码测试之前,请务必保证MongoDB服务已经打开,否则连接不上的~~~~
from pymongo import MongoClient
client=MongoClient()
#这是设置连接默认主机和端口,也可以明确指定主机和端口
from pymongo import MongoClient
#client = MongoClient()
client = MongoClient(‘localhost‘, 27017)
#client = MongoClient(‘mongodb://localhost:27017/‘)
#上面几种方法都可以。
如果连接已经成功的话, 那么我们就要开始访问数据库了:
第一种方法是用Client实例的属性方法,也就是.DatabaseName的方式
假设我们的数据库名称为pyTest吧,看代码:
db=client.pyTest
第二种方法就是使用字典方式,看代码:
db=client[‘pyTest‘]
得到数据库的连接后,我们就可以进一步获取数据库中额集合了,也就是collection,类似与SQL中的数据表,用于保存数据。同样有两种方法,假设我们在pyTest数据库中存在一个叫first的表格。
collection=db.first
#collection=db[‘first‘]
值得注意的是,MongoDB中关于集合和数据库的创建,是不同于传统SQL数据库的,他们是懒创建的,只有当出第一个文档(数据)插入集合时,才会创建集合和数据库。
在MongoDB中,存储的一个个数据就称作文档,是BSON格式的。用字典来表示文档,例如一个表示博客的文档:
post = {"author": "xingzhui",
"text": "My first blog post!",
"tags": ["mongodb", "python", "pymongo"],
"date": datetime.datetime.utcnow()}
#可以看出文档是字典格式的,key-value对组成的,如果一个key对应多个value,需要用[]将所有的value包围起来。
要将文档插入到集合中,可以使用insert_one()方法,这只是插入一条;
如果想要插入多条文档的话,那么就要使用insert_many()方法了。
两个方法的参数差不多。举个栗子,假如上面我们的一起操作都顺利的话。
#获取pyTest数据中名为posts的集合,如果该集合不存在,那么就创建他
posts = db.posts
#将post数据插入到posts里面,并获取插入的文档的主键id
post_id = posts.insert_one(post).inserted_id
print ("post id is ", post_id)
#我们将上面的语句拆分一下
result=db.posts.insert_one(post)
print(result.inserted_id)
我们再讲一个insert_many()的栗子:
>>> db.test.count()
0
>>> result = db.test.insert_many([{‘x‘: i} for i in range(2)])
>>> result.inserted_ids
[ObjectId(‘54f113fffba522406c9cc20e‘), ObjectId(‘54f113fffba522406c9cc20f‘)]
>>> db.test.count()
2
值得注意的是,如果文档不包含_id字段,会自动添加_id,并且_id的值在集合中必须是唯一的。
如果我们想要列出该数据库中的所有集合,可以使用下面的代码:
cur_collection=db.collection_names(False)
print(cur_collection)
MongoDB中执行的最简单的查询类型是find_one(),返回与查询匹配的单个文档,如果没有获取到匹配的文档,返回None。只有当知道只有一个匹配的文档,或者只对第一个匹配感兴趣时,可以考虑使用find_one()方法。
下面举个例子:
#获取第一个文档,结果就是之前插入的字典格式,并且多了一个_id。
post_first=db.posts.find_one()
print(post_first)
#获取具有匹配的特定元素,比如author为xingzhui的文档,作为指定的查询条件。
post_xingzhui=db.posts.find_one({‘author‘:‘xingzhui‘})
print(post_xingzhui)
有时候,我们也可以通过_id找到一个post,比较适用于我们自行指定_id的时候,举个例子:
post = {"_id": 200,
"author": "Suifeng",
"text": "This is is my first post!",
"tags": ["Docker", "Shell", "pymongo"],
"date": datetime.datetime.utcnow()}
post_id=db.posts.insert_one(post).inserted_id
print(post_id)
post_user=db.posts.find_one({‘_id‘:post_id})
print(‘By Post ID:‘,post_user[‘author‘])
#输出结果
200
By Post ID: Suifeng
为了适应更复杂的查询,我们再向posts集合中再插入一些文档。
出了插入单个文档外,还可以插入多个文档,使用insert_many()来执行。
通过一个命令,插入多个文档。
举个例子:
new_posts = [{"_id": 1000,
"author": "Curry",
"text": "Another post!",
"tags": ["bulk", "insert"],
"date": datetime.datetime(2017, 11, 12, 11, 14)},
{"_id": 1001,"author": "Maxsu",
"title": "MongoDB is fun",
"text": "and pretty easy too!",
"date": datetime.datetime(2019, 11, 10, 10, 45)}]
result=db.posts.insert_many(new_posts)
print(‘Bulk Inserts Result is:‘,result.inserted_ids)
值得注意的是:
insert_many()的结果返回了两个ObjectId实例,每个ID表示插入的一个文档。
另外的是,我们在第二个post中把tag字段替换成了title字段,同样可以插入到数据库中。
MongoDB是无模式的,表示的就是这个意思。
要查询获得超过单个文档作为查询的结果,可以使用find()方法,find()返回一个Cursor实例,它允许遍历所有匹配的文档。
for post in db.posts.find():
print(post)
同样的我们可以将过滤参数传递给find方法,比如
for post in db.posts.find({‘author‘:‘xingzhui‘}):
print(post)
如果只想知道有多少文档匹配查询,可以执行count()方法操作,而不是一个完整的查询。
可以得到一个集合中的所有文档的计数:
print(db.posts.count())
print(db.posts.find({"author": "xingzhui"}).count())
好了,至此我们已经将爬虫中可能用到的所有基础知识都介绍了一遍,后面我们就要开始爬虫的实战了。
我打算用一个月的时间,将静态网页、动态网页、登陆验证等不同类型的爬虫方法做介绍,希望大家能有兴趣。
一起进步!
标签:创建 版本 表格 iba any down 查询 post 基础知识
原文地址:http://www.cnblogs.com/xingzhui/p/7875420.html