cookie cookie: 获取百度翻译某个词条的结果 一定要对start_requests方法进行重写。 两种解决方案： 1. Request（）方法中给method属性赋值成post2. FormRequest（）进行post请求的发送 爬虫相关操作 配置 代理： 下载中间件作用：拦截请求，可 ...
分类：
其他好文 时间：
2019-04-12 17:47:12
阅读次数：
161
起点作为主流的小说网站，在防止数据采集反面还是做了准备的，其对主要的数字采用了自定义的编码映射取值，想直接通过页面来实现数据的获取，是无法实现的。 单独获取数字还是可以实现的，通过requests发送请求，用正则去匹配字符元素，并再次匹配其映射关系的url,获取到的数据通过font包工具解析成字典格 ...
分类：
其他好文 时间：
2019-03-28 13:42:11
阅读次数：
155
由于项目需要，用ThinkPHP开发的程序链接要去除index.php下面说下如何解决。一.Nginx方法 由于nginx不支持PATH_INFO，所以需要进入linux终端找到nginx 的配置文件nginx.conf添加如下代码： 使用如下： 二.apache [ Apache ] 参考:htt ...
分类：
Web程序 时间：
2019-02-28 22:42:17
阅读次数：
291
1.pysider的demo（常规操作） from pyspider.libs.base_handler import * class Handler(BaseHandler): crawl_config = { } @every(minutes=24 * 60) def on_start(self ...
分类：
其他好文 时间：
2019-02-25 18:39:24
阅读次数：
195
一、介绍 CrawlSpider是Spider的一个子类，除了继承到Spider的特性和功能外，还派生除了其自己独有的更加强大的特性和功能。其中最显著的功能就是"LinkExtractors"链接提取器。Spider是所有爬虫的基类，其设计原则只是为了爬取start_url列表中网页，而从爬取到的网 ...
分类：
其他好文 时间：
2019-02-14 22:11:58
阅读次数：
219
pipelines.py items,py settings.py 项目地址：https://github.com/CH-chen/tencent ...
分类：
其他好文 时间：
2019-01-29 10:57:18
阅读次数：
164
scrapy 命令： scrapy startproject xx(爬虫目录) 创建爬虫目录 cd xx 进入目录 scrapy genspilder chouti(爬虫名称) chouti.com(起始url) 然后编写 启动爬虫项目： scrapy crawl chouti(爬虫名称) --no... ...
分类：
其他好文 时间：
2019-01-29 10:53:20
阅读次数：
141
从零开始写爬虫，初学者的速成指南！ 介绍 什么是爬虫？ 先看看百度百科的定义: 号：923414804群里有志同道合的小伙伴，互帮互助，群里有不错的视频学习教程和PDF！ 号：923414804群里有志同道合的小伙伴，互帮互助，群里有不错的视频学习教程和PDF！ 简单的说网络爬虫（Web crawl ...
分类：
其他好文 时间：
2019-01-23 13:54:34
阅读次数：
204
网易云音乐综合爬虫python库NetCloud v1版本发布 ...
分类：
编程语言 时间：
2019-01-21 17:08:30
阅读次数：
197
scrapy的步骤： a.编写item，爬取的各个属性 b.编写spider，name 要和 scrapy crawl xxspider一致，里面编写parse的信息，就是xpath获取item的各个信息。同时获取下一个要爬取的url放入url_set()队列 c.pipeline,item的数据落 ...
分类：
其他好文 时间：
2019-01-17 16:52:21
阅读次数：
241
