爬虫的一些日常分享（反-反爬虫的一些tips）:
随机的请求头、请求延时和代理ip池的搭建
...
分类：
其他好文 时间：
2020-02-11 19:31:51
阅读次数：
93
[TOC] WebSocket握手验证反爬虫 ! "HTTP协议" "请求头" 服务器端创建 socket 服务后监听客户端，使用 while True 的方式读取客户端发送的消息 然后对服务器端发送的握手请求进验证，如果验证通过，则返回状态码为 101 的响应头，否则返回状态码为 403 的响应头 ...
分类：
Web程序 时间：
2020-01-30 14:21:35
阅读次数：
108
1. web网页的基本构成 浏览器的组建和作用 3. html dom与网页渲染过程 浏览器 html解释器, js解释器, css解释器, 4. 编程语言与浏览器的不同 编程语言请求到的是网页的源代码, 并没有js,css文件. 总结: js反爬虫的根本原因 浏览器与其他工具的差异 字体反爬虫, ...
分类：
Web程序 时间：
2020-01-28 20:46:24
阅读次数：
78
字体反爬，是一种利用 CSS 特性和浏览器渲染规则实现的反爬虫手段。其高明之处在于，就算借助（Selenium 套件、Puppeteer 和 Splash）等渲染工具也无法拿到真实的文字内容。 这种反爬虫手段通常被用来保护页面中的关键数据，例如影片票房、外卖平台的商家电话、汽车门户上的车型报价或者是 ...
分类：
编程语言 时间：
2020-01-22 21:40:07
阅读次数：
97
课程介绍:此项目为GUI+爬虫+反反爬虫+网络多线程+自动打码+缓存机制+数据清洗等多项技术综合一体的项目;开发中更能体验抓包思路, MVC, 分层, 封装重构等思想课程目录:001、12306抢票软件项目-项目展示002、12306抢票项目开篇-2019新年快乐!003、抢票软件项目-项目需求和原 ...
分类：
编程语言 时间：
2020-01-14 23:31:49
阅读次数：
209
浏览器前端通常会做一下反爬虫的手段，如下 webdriver = window.navigator.webdriver; if(webdriver){ console.log('你这个傻逼你以为使用Selenium模拟浏览器就可以了？') } else { console.log('正常浏览器') ...
分类：
Web程序 时间：
2020-01-06 22:35:05
阅读次数：
426
今天首先讲解反爬机制的伪装User-Agent第一种：在cmd命令行里用pip安装fake_useragentpip install fake-useragent使用方法： from fake_useragent import UserAgent import random fake_ua=User ...
分类：
其他好文 时间：
2020-01-04 14:35:05
阅读次数：
99
爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti-Spider) 之间恢宏壮阔的斗争... 小莫想要某站上所有的电影，写了标准的爬虫(基于HttpClient库)，不断地遍历某站的电影列表页面，根据 Html 分析电影名字存进自己的数据库。 这个站点的运维小黎发现 ...
分类：
编程语言 时间：
2019-12-25 11:34:21
阅读次数：
87
一个易用的IP代理池 stand 写爬虫时常常会遇到各种反爬虫手段, 封 IP 就是比较常见的反爬策略 遇到这种情况就需要用到代理 IP, 好用的代理通常需要花钱买, 而免费的代理经常容易失效, 所以就需要自己搭建 IP 代理池, 来获取免费高效的代理 IP. 下面介绍一个自己写的 IP 代理池, ...
分类：
其他好文 时间：
2019-12-17 15:12:34
阅读次数：
296
引言： 很多网页呈现给我们的静态页面，但是实际上是由服务器端的动态页面生成的。再加上网站设有反爬虫机制，所以抓取到的页面不一定和源码相同。 所以！！从源码里copy xpath，不一定能取到数据！ 实例： 非常的简单，从百度首页上，抓取“新闻”这两个字。 接下来打印一下我们抓取到的页面 看不出来啥， ...
分类：
编程语言 时间：
2019-11-03 19:57:29
阅读次数：
473
