说起python爬虫数据存储就不得不说到mongodb，现在我们来试一下scrapy操作mongodb 首先开启mongodb mongod --dbpath=D:\mongodb\db 开启服务后就可以进行使用， 还是接着上一卷在上进行修改： 来看下结果： 看到没有爬虫的完善就像个公式，不断嵌套 ...
分类：
数据库 时间：
2018-02-02 23:13:40
阅读次数：
260
帮宣传下彩印网(www.caiyin.com) 有印刷，广告等等方面的需求就找这个网站吧，没错的。 天气预报在MongoDB中的天气预报的存储方式是： 就是每个地方的未来的七天的天气 这样就在本地存了个json文件了。有三个地区的天气。 接下来我们是从这个json文件读入，变成dict，代码如下 ...
分类：
数据库 时间：
2018-02-02 22:00:05
阅读次数：
485
什么是NoSQL？关系型数据库代表MySQL。非关系型数据库就是NoSQL。对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索。NoSQL存储原理非常简单（典型的数据类型为k-v）（key-value），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以
分类：
数据库 时间：
2018-02-01 00:23:53
阅读次数：
187
首先，我们需要知道一个概念：应用程序是不能直接对电脑硬件进行操作的 在操作系统中，操作系统对外提供了文件系统，硬盘上的文件都由文件系统进行资源管理， 读写硬盘是一种硬件操作，所以我们要想进行文件操作，就必须通过文件系统这个接口来进行文件操作 因此 我们要想进行文件读写等操作，就必须先向操作系统发起系 ...
分类：
编程语言 时间：
2018-01-28 20:02:30
阅读次数：
230
下载网址http://dl.mongodb.org/dl/win32/x86_64 mongodb-win32-x86_64-2008plus-ssl-v3.4-latest.zip 解压d盘命名mongodb mongodb文件夹下新建data文件夹data文件夹下分别建立db,log两个文件夹在 ...
分类：
数据库 时间：
2018-01-28 17:20:03
阅读次数：
181
阅读目录 第一篇：爬虫基本原理 第二篇：请求库之requests，selenium 第三篇：解析库之re、beautifulsoup、pyquery 第四篇：存储库之mongodb，redis，mysql 第五篇：爬虫高性能相关 第六篇：Scrapy框架 第七篇：分布式爬虫 参考资料：http:// ...
分类：
其他好文 时间：
2018-01-26 23:04:25
阅读次数：
345
1. 开启两个mongo服务器(用于一主一从, 没有加安全验证相关参数 : 可以使用mongd-help查看) mongod --bind_ip IP --port PORT --dbpath D:\.. --replSet name ....(从类似, 端口不要相同) --bind_ip : 服务 ...
分类：
数据库 时间：
2018-01-21 21:27:01
阅读次数：
193
