在进行爬虫的过程当中，我们经常会遇到被封IP的情况，因此我们可以搜集一些代理IP，然后使用程序去测试哪些代理IP是可用的,我在这里使用了请求如下网站的方法： http://icanhazip.com/ 请求这个网站之后，如果请求成功，没有遇到异常，就会返回当前你请求这个网站的IP地址。同时保存到一个 ...
分类：
编程语言 时间：
2021-02-09 12:20:54
阅读次数：
0
CSDN博客的爬取（链接的爬取）糗事百科段子爬取（内容的爬取） 用户代理池构建实战 前面已经学会如何构建用户代理，那么用户代理池如何构建呢？所谓的用户代理池，即将不同的用户代理组建成为一个池子，随后随机调用。 IP代理与IP代理池的构建的两种方案 IP代理概述IP代理是指让爬虫使用代理IP去爬取对方 ...
分类：
编程语言 时间：
2021-01-07 11:57:47
阅读次数：
0
什么是DNS?在使用代理IP的时候，会看到设置的地方有这个专用词出现，但是不知道它代表的是什么？这样会对我们使用代理IP有影响吗？理论上，按照指引去设置就可以正常使用，但是多了解一些网络知识也没有坏处。下面我们来了解DNS。DNS是计算机域名系统(DomainNameSystem或DomainNameService)的缩写，它是万维网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便
分类：
其他好文 时间：
2020-10-09 21:16:38
阅读次数：
25
IP是网络之间互连的协议，规定了计算机在因特网上进行通信时应当遵守的守则。IP作为时下热门的技术，由它衍生出来了一批新的名词IP网络、IP交换、代理IP等，但是有没有人知道IP是怎样实现网络互联的？在了解IP技术之前我们先对网络系统和设备有一个基础的认知。网络分为局域网、城域网和广域网，广域网就是我们常说的Internet，是遍布全世界的网络，局域网只要是指小范围的计算机互联网络，比如以太网、分组
分类：
其他好文 时间：
2020-09-08 20:54:04
阅读次数：
37
中间件 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 作用：批量拦截到整个工程中所有的请求和响应 - 拦截请求： - UA伪装:process_request - 代理IP:process_exception:return request ...
分类：
其他好文 时间：
2020-06-30 22:19:04
阅读次数：
96
一、OSI和TCP/IP网络模型 1.OSI七层都有哪些？各层作用？各层常见协议有哪些？ 2.TCP/IP协议栈有哪几层？ 3.数据包在各层中怎样封装的？ 4.MAC地址的格式 5.ARP协议作用？运作方式？动态ARP和静态ARP区别？免费ARP作用？ARP代理？ 6.IP地址结构？分类？私有地址哪 ...
分类：
其他好文 时间：
2020-06-25 21:49:50
阅读次数：
54
为了更好的进行网络爬虫，应对一些站点的反爬机制，我们通常都要使用一些反反爬策略，其中，构造UA池和IP代理池，每次抓取网页时都采用随机的UA和代理IP是非常实用的一种策略。因此，先来给大家打个样，可以少踩一些坑的。 目标：抓取百度首页源码 import requests import random ...
分类：
编程语言 时间：
2020-06-18 13:14:13
阅读次数：
61
系统软件情况：Win10系统，Charles4.5.6，夜神模拟器6.6.0.9 Charles已经安装了证书以便获取https请求，下面记录Android模拟器的相关设置。 整体过程：在夜神模拟器上配置本机代理-->模拟器下载证书-->模拟器安装证书 1、在夜神模拟器上配置本机代理。 代理IP就是 ...
分类：
移动开发 时间：
2020-06-18 13:10:35
阅读次数：
88
使用iPhone X 连接charles 和 fiddler进行抓包： 1. 先查看ip，命令行下。ipconfig 可以查看； 2. 手机端配置代理，ip:端口号； 例如：10.88.2.164：8888 3. 手机上浏览器输入10.88.2.164：8888 ，进入证书下载页面， 下载证书 4. ...
分类：
移动开发 时间：
2020-06-17 13:09:48
阅读次数：
203
自定义proxy.py import base64 import random from urllib.parse import unquote, urlunparse from urllib.request import _parse_proxy from scrapy.utils.python ...
分类：
其他好文 时间：
2020-06-14 01:40:00
阅读次数：
90
