这是一个分析IP代理网站，通过代理网站提供的ip去访问CSDN博客，达到以不同ip访同一博客的目的，以娱乐为主，大家可以去玩一下。 首先，准备工作，设置User-Agent: 然后百度一个IP代理网站，我选用的是https://www.kuaidaili.com/free，解析网页，提取其中的ip、 ...
分类：
编程语言 时间：
2019-07-28 20:08:19
阅读次数：
147
UA池：User-Agent池 - 作用：尽可能多的将scrapy工程中的请求伪装成不同类型的浏览器身份。 - 操作流程： 1.在下载中间件中拦截请求 2.将拦截到的请求的请求头信息中的UA进行篡改伪装 3.在配置文件中开启下载中间件 代码展示 #导包 from scrapy.contrib.dow ...
分类：
其他好文 时间：
2019-07-01 15:50:38
阅读次数：
137
动态IP代理软件—互联网与爬虫相互依存 互联网的快速发展，因特网变成大批量信息的传递，有效的获取并运用这种信息的内容成为程序人员的一种极大的挑战。在互联网发展之初，是没有检索这项技术的。 在百度搜索引擎被开发设计出去以前，互联网技术仅仅文件传输协议(FTP)站点的集合，普通用户可以在站点地图中进行导 ...
分类：
其他好文 时间：
2019-06-14 14:47:25
阅读次数：
190
Flask开发系列之Flask+redis实现IP代理池 6.11-6.15号完善... 简易实现版 获取ip： ...
分类：
其他好文 时间：
2019-06-11 13:17:50
阅读次数：
258
一.全站数据的爬取 二.如何进行post请求发送 和cookie处理 1.post请求的发送 2.cookie的处理 三.请求传参 四.中间件 1.UA池 和代理池 代理池:ip代理 - 作用：尽可能多的将scrapy工程中的请求的IP设置成不同的。 ①在middlewares.py 文件中 ②在s ...
分类：
其他好文 时间：
2019-06-03 21:56:10
阅读次数：
323
简单使用IP代理池和用户代理池的爬虫importreimportrandomimporturllib.requestasurlreqimporturllib.errorasurlerr#用户代理池uapools=["Mozilla/5.0(WindowsNT10.0;WOW64;rv:52.0)Gecko/20100101Firefox/52.0","Mozilla/5.0(WindowsNT10
分类：
其他好文 时间：
2019-05-20 00:54:01
阅读次数：
150
IP地址是指互联网协议地址（英语：Internet Protocol Address，又译为网际协议地址），是IP Address的缩写。IP地址是IP协议提供的一种统一的地址格式，它为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。目前还有些ip代理软件，但大部分都收费 ...
分类：
其他好文 时间：
2019-05-18 15:39:06
阅读次数：
167
目标网站:静听网 网站url:http://www.audio699.com/ 目标文件:所有在线听的音频文件 附:我有个喜好就是晚上睡觉听有声书，然而很多软件都是付费才能听，免费在线网站虽然能听，但是禁ip很严重，就拿静听网来说，你听一个在线音频，不能一个没听完就点击下一集，甚至不能快进太快，否则 ...
分类：
编程语言 时间：
2019-05-13 12:29:45
阅读次数：
157
fiddler代理上网 1 下载安装：http://www.telerik.com/fiddl er 2 设置代理，如下图 3 代理服务器信息 代理服务器的IP ： 10.1.44.11 代理服务器的port ： 5678 只要在其他服务器的网络设置把代理设置为以上的配置就行了，或者在其他服务器上的 ...
分类：
Windows程序 时间：
2019-04-12 11:54:04
阅读次数：
1136
1.IPaddressIP地址是指互联网协议地址（英语：InternetProtocolAddress，又译为网际协议地址），是IPAddress的缩写。IP地址是IP协议提供的一种统一的地址格式，它为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。目前还有些ip代理软件，但大部分都收费。ip由32个01组成11111110.11111110.11111110.1111
分类：
系统相关 时间：
2019-04-10 09:17:07
阅读次数：
176
