爬虫学习 06.Python网络爬虫之requests模块（2） 今日内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 知识点回顾 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 了解cookie和session \ 无 ...
分类：
编程语言 时间：
2020-01-09 19:01:29
阅读次数：
118
一、代码 #使用apscheduler库定时爬取ip，定时检测ip删除ip，做了2层检测，第一层爬取后放入redis——db0进行检测，成功的放入redis——db1再次进行检测，确保获取的代理ip的可用性 import requests, redis import pandas import ra ...
分类：
编程语言 时间：
2020-01-06 18:09:12
阅读次数：
208
打开上传测试网页（此处是自己搭建的OWASP平台），这个网页只能上传图片格式的文件 上传一张图片： 查看上传图片： 创建一个test.text文件： 配置浏览器代理，IP:127.0.0.1，端口:8080（代理配置在浏览器的设置中，也可也在本地的网络设置中配置） tip:平时不要开启，否则不能上网 ...
分类：
其他好文 时间：
2019-12-21 22:34:01
阅读次数：
213
一个易用的IP代理池 stand 写爬虫时常常会遇到各种反爬虫手段, 封 IP 就是比较常见的反爬策略 遇到这种情况就需要用到代理 IP, 好用的代理通常需要花钱买, 而免费的代理经常容易失效, 所以就需要自己搭建 IP 代理池, 来获取免费高效的代理 IP. 下面介绍一个自己写的 IP 代理池, ...
分类：
其他好文 时间：
2019-12-17 15:12:34
阅读次数：
296
反爬技术： 1. UA反爬：携带ua,构建有效ua池；2. Ip限制：限制同一ip的访问频率，download_delay =8,代理ip;3. 数据藏在js脚本：一般使用re提取数据；4. ajax请求（动态数据）：可以使用selenium或者pypepeer,但是效率太低，影响机器性能， 推荐直 ...
分类：
其他好文 时间：
2019-11-16 12:40:46
阅读次数：
68
本节内容 模块的安装 基础用法 GET用法、POST用法 进阶用法 cookie处理、代理ip、session 一 模块安装： 1). 安装requests包还是很方便的，电脑中有python环境，打开cmd,输入pip install requests下载； 如果有同学使用pycharm的话，选择 ...
分类：
其他好文 时间：
2019-11-01 18:22:11
阅读次数：
92
在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。 1、问题 代理IP从何而来？ 刚自学爬虫 ...
分类：
编程语言 时间：
2019-10-26 17:18:25
阅读次数：
86
0遇到过得反爬虫策略以及解决方法?1.通过headers反爬虫2.基于用户行为的发爬虫：(同一IP短时间内访问的频率)3.动态网页反爬虫(通过ajax请求数据，或者通过JavaScript生成)4.对部分数据进行加密处理的(数据是乱码)解决方法：对于基本网页的抓取可以自定义headers,添加headers的数据使用多个代理ip进行抓取或者设置抓取的频率降低一些，动态网页的可以使用selenium
分类：
编程语言 时间：
2019-10-22 23:52:29
阅读次数：
219
1.调用chrome driver 2.创建chromeOption对象 3.属性设置 3.1无图设置： 3.2设置免检测（开发者模式） 3.3设置代理ip 3.4设置浏览器大小 3.5设置Cookie 3.6设置无头 ...
分类：
其他好文 时间：
2019-10-03 12:34:03
阅读次数：
174
由于公司业务要求，西瓜代理已经不满足需求，准备更换新的代理IP池，所以调研测试了一下市面上的各家付费代理（免费代理可用率低故不考虑），功能限制和价格情况等如何，以便从中挑选满足要求的代理。 1、目标站 2、情报收集 整理套餐的价格和类型，API频率，每秒提取上限，每天提取上限，使用时长等信息： （p ...
分类：
其他好文 时间：
2019-09-20 20:58:59
阅读次数：
99
