scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 一、scrapy-redis组件 1. UR ...
分类：
其他好文 时间：
2017-09-06 18:23:28
阅读次数：
131
mkdir ~.pip vim ~/.pipi/pipl.conf ini [global] index-ur= http://mirrors.aliyun.com/pypi/simple/ trusted-host = mirrors.aliyun.com ...
分类：
其他好文 时间：
2017-09-05 00:11:32
阅读次数：
135
一、源代码地址： 二、总结： 1.分析Http请求 - 请求方式：get、post等等 - URL：每个请求的url，固定部分和变换部分，一般动态的部分可能是在这个请求的前面的请求中有相关请求 - Form Data 是data传值他默认的请求头是 application/x-www-form-ur ...
分类：
微信 时间：
2017-09-01 20:23:57
阅读次数：
297
一、源代码地址： 二、总结： 1.分析Http请求 - 请求方式：get、post等等 - URL：每个请求的url，固定部分和变换部分，一般动态的部分可能是在这个请求的前面的请求中有相关请求 - Form Data 是data传值他默认的请求头是 application/x-www-form-ur ...
分类：
微信 时间：
2017-08-30 23:37:38
阅读次数：
305
urls.py： URL分发器（路由配置文件） URL配置(URLconf )就像是 Django 所支撑网站的目录。它的本质是 URL 模式以及要为该 URL 模式调用的视图函数之间的映射表。 你就是以这种方式告诉 Django，对于这个 URL 调用这段代码，对于那个 URL 调用那段代码。UR ...
分类：
Web程序 时间：
2017-08-30 16:35:45
阅读次数：
183
get请求 #encoding:UTF-8 importurllib importurllib.request data={} data['name']='aaa' url_parame=urllib.parse.urlencode(data) url="http://xxxxxx?" all_ur ...
分类：
编程语言 时间：
2017-08-25 00:11:17
阅读次数：
217
第一种：打开Fiddler 点击Rules-> Automatic Breakpoint ->Before Requests(这种方法会中断所有的会话) 如何消除命令呢？ 点击Rules-> Automatic Breakpoint ->Disabled 第二种: 在命令行中输入命令: bpu ur ...
分类：
其他好文 时间：
2017-08-21 17:02:05
阅读次数：
242
这篇博客侧重于了解OkHttp的网络部分，包括Socket的创建、连接，连接池等要点。OkHttp对Socket的流操作使用了Okio进行了封装，本篇博客不做介绍，想了解的朋友可以参考拆轮子系列：拆Okio。 OkHttp中关于网络的几个概念 下面的主要翻译自OkHttp的官方文档，查看原文. UR ...
分类：
Web程序 时间：
2017-08-20 16:58:59
阅读次数：
223
链接：http://uoj.ac/problem/82 今天是世界水日，著名的水题资源专家蝈蝈大臣向世界宣布了他的一项新发明 —— 水题生成器。 每道题目都有一个正整数的难度值。水题生成器虽然强大但是功能有限。水题生成器内部有一个参数 nn，你可以告诉水题生成器一个能整除 n!n! 的正整数 dd， ...
分类：
其他好文 时间：
2017-08-19 11:00:58
阅读次数：
145
链接：http://uoj.ac/problem/52 刚刚越过绝境长城，只见天空中出现了炫目的光芒 —— 圣诞老人出现了。 元旦三侠立刻进入战斗。生蛋侠、圆蛋侠和零蛋侠分别有 na,nb,ncna,nb,nc 个激光炮。生蛋侠的激光炮的威力分别为 a0,a1,…,ana?1a0,a1,…,ana? ...
分类：
其他好文 时间：
2017-08-19 10:57:29
阅读次数：
164
