WKWebView 设置全局UserAgent 关键是要设置customUserAgent（>=iOS 9.0）,否则执行evaluateJavaScript:@"navigator.userAgent"获取不到webView的UA： //修改userAgent + (void)addToWebVi ...
分类：
Web程序 时间：
2020-06-19 12:27:31
阅读次数：
154
<!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="wi ...
分类：
其他好文 时间：
2020-06-18 21:11:59
阅读次数：
50
为了更好的进行网络爬虫，应对一些站点的反爬机制，我们通常都要使用一些反反爬策略，其中，构造UA池和IP代理池，每次抓取网页时都采用随机的UA和代理IP是非常实用的一种策略。因此，先来给大家打个样，可以少踩一些坑的。 目标：抓取百度首页源码 import requests import random ...
分类：
编程语言 时间：
2020-06-18 13:14:13
阅读次数：
61
scrapy中间件 scrapy中间有两种：爬虫中间件，下载中间件 爬虫中间件：处于引擎和爬虫spider之间 下载中间件：处于引擎和下载器之间 主要对下载中间件进行处理 下载中间件 作用：批量拦截请求和响应 拦截请求 UA伪装：将所有的请求尽可能多的设定成不同的请求载体身份标识 request.h ...
分类：
其他好文 时间：
2020-06-09 18:34:48
阅读次数：
89
批量导入数据： 1.在webapp下的template文件下导入excel模板文件 1.前端：提供下载模板文件 <!DOCTYPE html> <html> <head> <!-- 页面meta --> <meta charset="utf-8"> <meta http-equiv="X-UA-Co ...
分类：
其他好文 时间：
2020-06-02 23:11:04
阅读次数：
121
代码如下： <!DOCTYPE html> <html> <head> <meta charset='utf-8'> <meta http-equiv='X-UA-Compatible' content='IE=edge'> <title>品牌列表</title> <link rel="styles ...
分类：
其他好文 时间：
2020-06-01 14:17:05
阅读次数：
89
位置：middlewares.py文件中 一、爬虫中间件 二、下载中间件 1、位置：引擎和下载器之间 2、作用：批量拦截到整个工程中所有的请求和响应 3、拦截请求： UA伪装：写在process_request方法中 # UA池 user_agent_list = [ "Mozilla/5.0 (W ...
分类：
其他好文 时间：
2020-06-01 13:53:49
阅读次数：
105
<!doctype html> <html lang="en"> <head> <meta charset="utf-8" /> <meta content="IE=8" http-equiv="X-UA-Compatible"/> <title> CSS垂直居中</title> <style ty ...
分类：
Web程序 时间：
2020-05-30 23:29:46
阅读次数：
116
轮播图 <html lang="en"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <title>Title</title> <link rel="stylesheet" t ...
分类：
其他好文 时间：
2020-05-30 11:00:04
阅读次数：
333
位置：middlewares.py文件中 一、爬虫中间件 二、下载中间件 1、位置：引擎和下载器之间 2、作用：批量拦截到整个工程中所有的请求和响应 3、拦截请求： UA伪装：写在process_request方法中 # UA池 user_agent_list = [ "Mozilla/5.0 (W ...
分类：
其他好文 时间：
2020-05-29 21:06:58
阅读次数：
90
