前面我们讲到的elasticsearch(搜索引擎)操作，如：增、删、改、查等操作都是用的elasticsearch的语言命令，就像sql命令一样，当然elasticsearch官方也提供了一个python操作elasticsearch(搜索引擎)的接口包，就像sqlalchemy操作数据库一样的O ...
分类：
编程语言 时间：
2018-01-03 13:54:19
阅读次数：
1040
简单的网络爬虫是对一个url进行请求，并等待其返回响应。在数据量小的情况下很实用，但是当你的数据量很大，显然分布式爬虫就更占优势！关于分布式，一般是使用一台主机（master）充当多个爬虫的共享redis队列，其他主机（slave）采用远程连接master，关于redis如何安装，这里不多做介绍！ ...
分类：
其他好文 时间：
2017-12-26 19:56:48
阅读次数：
381
首先更大家说下 正式部署上线的爬虫会有分布式爬虫的需求 而且原本scrapy 的seen (判断重复url的池 不知道用啥词 已抓url吧 ) 保存在磁盘 url 队列 也是保存在磁盘 (保存在磁盘 对爬虫效率会极大影响) 如果是断点重爬 声明 jobdir 百分百是保存在磁盘 不申明jobdir ...
分类：
其他好文 时间：
2017-12-23 11:52:08
阅读次数：
156
Java分布式爬虫Nutch教程——导入Nutch工程，执行完整爬取 by briefcopy · Published 2016年4月25日 · Updated 2016年12月11日 在使用本教程之前，需要满足条件： 1）有一台Linux或Linux虚拟机 2）安装JDK（推荐1.7） 3）安装A ...
分类：
编程语言 时间：
2017-11-27 15:12:20
阅读次数：
143
随笔背景：在很多时候，很多入门不久的朋友都会问我：我是从其他语言转到程序开发的，有没有一些基础性的资料给我们学习学习呢，你的框架感觉一下太大了，希望有个循序渐进的教程或者视频来学习就好了。对于学习有困难不知道如何提升自己可以加扣：1225462853进行交流得到帮助，获取学习资料. CK21144- ...
分类：
编程语言 时间：
2017-11-25 14:27:37
阅读次数：
204
1. 爬去首页 2. 爬去URL列表 3. 爬去商品详细信息 ...
分类：
其他好文 时间：
2017-11-20 14:37:36
阅读次数：
92
这里我们介绍一下python的分布式爬虫框架scrapy的安装以及使用。平庸这东西犹如白衬衣上的污痕，一旦染上便永远洗不掉，无可挽回。 scrapy的安装使用 我的电脑环境是win10，64位的。python版本是3.6.3。以下是安装以及学习scrapy的第一个安全。 一、scrapy的安装准备 ...
分类：
编程语言 时间：
2017-11-18 16:01:09
阅读次数：
208
目录： scrapy-redis组件 scrapy-redis配置示例 scrapy-redis组件 一、scrapy-redis组件 1、scrapy-redis简介： scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能 ...
分类：
编程语言 时间：
2017-10-30 14:37:03
阅读次数：
208
http://www.cnblogs.com/jinxiao-pu/p/6706319.html 最近在网上学习一门关于scrapy爬虫的课程，觉得还不错，以下是目录还在更新中，我觉得有必要好好的做下笔记，研究研究。 第1章 课程介绍 1-1 python分布式爬虫打造搜索引擎简介 07:23 1- ...
分类：
编程语言 时间：
2017-10-29 11:13:55
阅读次数：
189
# url管理器 # url管理器 import pickle import hashlib class UrlManager(): def __init__(self): self.new_urls = self.load_progress('new_urls.txt') # 未爬取url集合 s... ...
分类：
其他好文 时间：
2017-10-23 23:09:33
阅读次数：
506
