pymongo是在Python环境下使用MongoDB的方法。 以某电商网站搜索“连衣裙”的第一页商品数据抓取下来并存入MongoDB数据库。 import requests import pymongo client = pymongo.MongoClient('localhost',27017) ...
分类：
数据库 时间：
2020-06-15 17:47:09
阅读次数：
73
爬取电商网站的商品信息: URL为: https://www.zhe800.com/ju_type/baoyou 抓取不同分类下的商品数据 抓取内容为商品的名称, 价格数字, 商品图片 将商品图片二进制流, 商品名称和价格数字一同存储于MongoDB数据库 存储数据结构为: { ‘name’: ‘懒 ...
分类：
数据库 时间：
2020-05-15 20:11:44
阅读次数：
90
爬虫py文件 pipelines.py 文件 存入Mongo时要注意settings.py的配置 注释部分需要打开 settings.py文件 items.py ...
分类：
数据库 时间：
2020-01-14 13:32:31
阅读次数：
165
1、txt 用普通的磁盘IO操作即可 2、csv 需注意单条数据写入的参数格式是列表，多条数据写入的参数格式是列表嵌套元组，推荐使用多条数据一次性写入，效率高。 3、json：使用json模块中的dump函数 4、数据库：MySQL、MongoDB、Redis 存入MySQL： 存入MongoDB： ...
分类：
其他好文 时间：
2019-08-18 15:44:39
阅读次数：
65
自己记录下，Dataframe数据需要转成字典，并且保证列标题中不能有 “，”等非string字符。 参考： https://stackoverflow.com/questions/49221550/pandas-insert-a-dataframe-to-mongodb?r=SearchResul ...
分类：
数据库 时间：
2019-06-13 16:57:11
阅读次数：
1103
索引 mongodb mysql redis的区别和使用场景 爬虫数据去重 实现增量式爬虫 使用数据库建立关键字段（一个或多个）建立索引进行去重 根据url地址进行去重 使用场景 url地址对应的数据不会变的情况下，url地址能够唯一判别一个条数据的情况 思路 url存在redis中 拿到url地址 ...
分类：
数据库 时间：
2019-02-19 13:31:11
阅读次数：
191
使用scrapy框架爬取前程无忧上的python职位 1. 创建cmd文件：star.cmd 2. 使用编译器打开Jobs开始项目 打开/spiders/Job51Spider.py 写入 items.py 中 pipelines.py 中存入mongodb setttings.py 中配置, 最后 ...
分类：
编程语言 时间：
2019-01-09 13:44:56
阅读次数：
136
mysql是关系型数据库，支持事物 MongoDB、Redis是非关系型数据库，不支持事物 mongodb、mysql、redis的使用根据如何方便进行选择 希望速度快的时候，选择MongoDB或者是Redis 数据量过大的时候，选择频繁使用的数据存入Redis，其他的存入MongoDB Mongo ...
分类：
数据库 时间：
2018-11-26 23:09:03
阅读次数：
401
scrapy爬虫采集数据存入mongodb采集效果如图： 1.首先开启服务切换到mongodb的bin目录下 命令：mongod --dbpath e:\data\db 另开黑窗口 命令：mongo.exe 2.连接可视化工具 studio—3t 建立本地连接 如图： 3.代码如下 采集的是玻璃网站... ...
分类：
数据库 时间：
2018-10-25 14:13:28
阅读次数：
166
