在进行爬虫的过程当中，我们经常会遇到被封IP的情况，因此我们可以搜集一些代理IP，然后使用程序去测试哪些代理IP是可用的,我在这里使用了请求如下网站的方法： http://icanhazip.com/ 请求这个网站之后，如果请求成功，没有遇到异常，就会返回当前你请求这个网站的IP地址。同时保存到一个 ...
分类：
编程语言 时间：
2021-02-09 12:20:54
阅读次数：
0
爬虫采集信息时为什么会被封IP，这就像你楼下超时免费送礼品，你一个小时去了六趟，那超市肯定不会再给你礼品啊，脾气不好还有可能把你轰走，所以我需要换个衣服、发型让工作人员认不出来。这就和换IP一个道理，许多网站都会对爬虫行为进行识别，一旦认定你的行为是爬虫，便会锁定你的IP，导致爬虫爬取不了信息。 爬 ...
分类：
其他好文 时间：
2020-05-20 15:47:19
阅读次数：
57
Raksmart是总部位于美国的服务器运营商，数据中心位于美国加州硅谷的核心地带，且其核心技术团队由硅谷的网络、系统、存储,、软件及数据中心的专家组成。目前，Raksmart的中小企业客户群主要来自于传统企业网站、社交网站、移动互联网站、游戏网站及电子商务网站。速度方面，Raksmart位于美国西海岸加州机房，直通中国电信联通线路，保证访问速度;安全性方面，如若受到***，则会自动封IP，保证机器的正常使用。
分类：
其他好文 时间：
2020-05-08 09:41:46
阅读次数：
62
之前也有跟大家聊过raksmart这个品牌，真的很喜欢这个品牌了。今天再和大家伙聊聊美国raksmart服务器。这个厂商他的机房主要是位于美国加州，在美国西海岸，是离中国最近的美国机房，最适合中国人的美国机房，访问速度稳定。而且作为成立至今的美国老品牌商，他总是有他的过人之处的。比如说以下几点：1、RAKsmart机房对任何投诉信息都采取先通知，若客户12小时内没有处理，才关闭或封IP，客户处理后
分类：
其他好文 时间：
2020-04-10 00:35:26
阅读次数：
64
爬虫与反爬 爬虫：自动获取网站数据的程序，关键是批量的获取。 反爬虫：使用技术手段防止爬虫程序的方法 误伤：反爬技术将普通用户识别为爬虫，从而限制其访问，如果误伤过高，反爬效果再好也不能使用（例如封ip，只会限制ip在某段时间内不能访问） 成本：反爬虫需要的人力和机器成本 拦截：成功拦截爬虫，一般拦 ...
分类：
其他好文 时间：
2020-03-09 18:07:44
阅读次数：
46
Linux使用iptables封IP，是常用的应对网络攻击的方法，但要封禁成千上万个IP，如果添加成千上万条规则，对机器性能影响较大，使用ipset能解决这个问题。 iptables 包含几个表，每个表由链组成。默认的是 filter 表，最常用的也是 filter 表，另一个比较常用的是nat表， ...
分类：
系统相关 时间：
2020-01-16 10:21:15
阅读次数：
104
反爬记录 1.UA伪装 2.封IP 3.font family 4.cookeies 5.验证码 6.referer 7.css:before 8.js混淆 9:加密 10.检查webdriver 11.禁用调试 爬虫小知识 测试接口信息的链接 大型免费代理池 https://github.com/ ...
分类：
其他好文 时间：
2020-01-06 22:48:39
阅读次数：
72
一个易用的IP代理池 stand 写爬虫时常常会遇到各种反爬虫手段, 封 IP 就是比较常见的反爬策略 遇到这种情况就需要用到代理 IP, 好用的代理通常需要花钱买, 而免费的代理经常容易失效, 所以就需要自己搭建 IP 代理池, 来获取免费高效的代理 IP. 下面介绍一个自己写的 IP 代理池, ...
分类：
其他好文 时间：
2019-12-17 15:12:34
阅读次数：
296
逐渐有了买房的想法，研究一段时间之后，发现各大网站都没有给出一个完整的房价统计数据和走势。好在链家网的每一条二手房成交记录都有对应的网页。如果能把每一套房的成交信息（面积，单价，总价，成交时间，户型，版块，行政区等等）拿到，存入db或者excel中，那么要分析历史走势就容易多了。此程序就是能够抓取链... ...
分类：
其他好文 时间：
2019-10-18 11:06:48
阅读次数：
251
