码迷,mamicode.com
首页 > 其他好文 > 详细

分布式爬虫-bilibili评论

时间:2019-10-22 12:58:58      阅读:83      评论:0      收藏:0      [点我收藏+]

标签:fifo   连接   www   oca   远程   实战   mongodb   队列   loader   

实属课程需要,不然早就放弃在半路了。维持了断续半个多月的 bug 调试,突然就实现了。很是欣慰。网上关于分布式爬虫的都是一些介绍,实战的不多并且都很相似,说的云来雾去的,只是项目的流程。可能是项目一路顺风,而我 bug 不断。也好 记录下来供大家参考。

关于 scrapy-redis 环境配置 以及框架流程就不进行叙述了。网上也是一大堆的内容。

主要内容有:

1. 如何去写一个分布式爬虫

首先创建一个普通的爬虫,在保证此爬虫能正常运行的基础上进行修改,然后成为分布式爬虫。我的项目是在linux上 redis 数据库存储分配 requests,我写的是 bilibili 评论抓取,项目路径如下:

技术图片

a. 将 spiders --> bilibili.py 继承类 由 scrapy.Spider 改为 RedisSpider 。

注释掉: "allowed_domains"  "start_urls" 
添加: redis_key = bilibili:start_urls

b. setting.py 修改

# redis 数据库连接参数
REDIS_HOST = ‘远程 ip‘  # windows setting
# REDIS_HOST = ‘localhost‘ # linux setting
REDIS_PORT = 6379
REDIS_PARAMS = {
   password: 123456‘ # redis 数据库设置密码情况下进行设置
}

# 指定使用 scrapy-redis 的调度器
SCHEDULER = scrapy_redis.scheduler.Scheduler

# 指定使用 scrapy-redis 的去重机制
DUPEFILTER_CLASS = scrapy_redis.dupefilter.RFPDupeFilter

# 指定排序爬取地址时的队列
# 使用先进先出(FIFO)排序
SCHEDULER_QUEUE_CLASS = scrapy_redis.queue.SpiderPriorityQueue

# 设置断点续传
SCHEDULER_PERSIST = False

DOWNLOADER_MIDDLEWARES = {   
  ‘spider_parallel.middlewares.SpiderParallelDownloaderMiddleware: 543, } ITEM_PIPELINES = { spider_parallel.pipelines.SpiderParallelPipeline: 300, scrapy_redis.pipelines.RedisPipeline: 400 }

2. 运行爬虫的顺序《此坑最深》

a. 先进入 linux 中 redis 数据库

redis-cli
auth 123456

b. 服务器端运行spider:

scrapy crawl bilibili

这时看到程序一直在等待 redis 中插入 start_url

c. redis 命令行中执行:

lpush bilibili:start_urls https://api.bilibili.com/x/v2/reply?pn=1&type=1&oid=329437&sort=2

此连接即评论包的地址,oid 为视频 av 号。你问我怎么知道的这个地址??? 爬虫基础在看看吧。(网页 F12 加载的内容中查找)

d. windows 中运行 spider:

scrapy crawl bilibili

顺序不对其中一个会一直处于等待监听的状态。还有就是我想让 两个spiders-->bilibili 中的 name 值不同,以此区分不同的评论是哪个爬虫抓取的。不行,一定要相同。我的区分就是服务器端爬虫存储在服务器端的mongodb数据库中,windows中爬虫就存储在windows中的mongodb数据库中。存储在同一个数据库中也是可以的。区分时记录爬虫类,写 __init__ () 函数继承父类等内容。

没问题就可以看到两个爬虫在共同抓取执行了。

项目已上传至 git

原创不易,尊重版权。转载请注明出处:http://www.cnblogs.com/xsmile/

 

分布式爬虫-bilibili评论

标签:fifo   连接   www   oca   远程   实战   mongodb   队列   loader   

原文地址:https://www.cnblogs.com/xsmile/p/11718836.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!