[pyMongo]insert_many的Bulkwrite实现机制

标签：client   god   问题   mysql   印象   div   一个   使用   循环   

在SQL中，insert many的操作可能会出现插入数据量过大的问题。

印象中MySQL Driver对insert语句的buffer有一个大小限制。超过这个限制的数据可能会被丢弃？ -- > 待考

不过使用pyMongo做insert_many并不会存在这个问题，因为pyMongo在实现BulkWrite操作时，已经自动将数据划分成小块进行插入，避免插入数据过大的问题。

具体可看pyMongo对BulkWrite做的说明：http://api.mongodb.com/python/current/examples/bulk.html 

在网上看到有人将数据分块后进行循环插入，即：

bf = []
for item in data:
    bf.append(item)
    if len(bf) == 20000:
        <mgoclient>.insert_many(bf)
        bf =[]　　

我不确定MongoDB本身在提供Driver API的时候有没有考虑buffer过大的处理问题。

不过如果使用pyMongo来连接Mongo的话，上面的步骤是多余的。

[pyMongo]insert_many的Bulkwrite实现机制

标签：client   god   问题   mysql   印象   div   一个   使用   循环   

原文地址：https://www.cnblogs.com/oDoraemon/p/9994072.html