1 import urllib.request 2 url1 = 'https://www.baidu.com' 3 4 5 #http://www.httpbin.org 这个网站可以课程方便的查看http请求的一些参数 6 # 快代理 7 #创建一个代理IP，传入的值是一个字典，键是http或者 ...
分类：
其他好文 时间：
2020-03-16 21:55:40
阅读次数：
79
环境搭建 "PHP" curl 安装curl库 确认环境。 代码样例 使用代理 运行下 进阶学习 "curl库" "代理IP" ...
分类：
Web程序 时间：
2020-02-14 00:30:26
阅读次数：
833
环境配置: "ruby" 确认环境。 环境搭建好之后，直接引入内置模块使用即可。 代码样例 使用代理 运行下试试，看看结果。成功，code200, 进阶学习: "Ruby net/http官方文档" "代理IP的使用" ...
分类：
Web程序 时间：
2020-02-13 23:22:23
阅读次数：
155
环境配置 "Go的安装" 确认环境都安装好了，看看go的版本。 代码样例 使用代理，发送GET请求 运行下，看看结果 没问题，200 OK的 POST请求 把上面代码中的get，改成post就好了。就是这一句 进阶学习 "Go http官方文档" "代理IP" ...
分类：
其他好文 时间：
2020-02-13 23:13:06
阅读次数：
90
环境配置: "Ruby" httparty 安装httparty库 代码样例 使用代理 运行下，看看结果。 进阶学习 "ruby httparty" "代理IP" ...
分类：
Web程序 时间：
2020-02-13 23:11:31
阅读次数：
108
爬虫的一些日常分享（反-反爬虫的一些tips）:
随机的请求头、请求延时和代理ip池的搭建
...
分类：
其他好文 时间：
2020-02-11 19:31:51
阅读次数：
93
一、ProxyHandler处理（代理服务器） 1.使用代理IP，是爬虫的常用手段 2.获取代理服务器的地址： www.xicidaili.com www.goubanjia.com 3.代理用来隐藏真实访问中，代理不允许频繁访问某一个固定网站，所以代理一定要很多很多。 4.基本使用步骤： （1）设 ...
分类：
编程语言 时间：
2020-02-06 01:29:15
阅读次数：
93
Nginx 正向代理配置 作用：客户端通过Nginx代理服务器来进行访问。 案例 客户端添加代理：IP：8080 server { # 端口 listen 8080; # 地址 server_name localhost; # DNS解析地址 resolver 8.8.8.8; # 代理参数 loc ...
分类：
其他好文 时间：
2020-02-03 13:47:51
阅读次数：
71
代理是爬虫技术中很重要的一项。因为有一些网站会有相应的安全策略。例如检测一段时间内，某个IP地址的访问次数，如果访问频率过高，说明你不是正常访客，然后禁止你这个IP的访问。 应对这种机制有两种手段： 放慢抓取速度，减小对目标网站的访问压力。 设置代理IP，实现高频率抓取，但是这需要多个稳定的代理IP ...
分类：
Web程序 时间：
2020-01-17 11:32:07
阅读次数：
126
上一篇博客地址：python代理池的构建3——爬取代理ip 一、mongdb数据库的增删改查 #-*-coding:utf-8-*- ''' 实现代理池的数据库模块 ●作用:用于对proxies 集合进行数据库的相关操作 目标:实现对数据库增删改查相关操作步骤: 1.在init 中，建立数据连接,获 ...
分类：
数据库 时间：
2020-01-10 10:18:48
阅读次数：
105
