import requestsfrom lxml import etreeimport randomfrom fake_useragent import UserAgent ua=UserAgent()uas=[]for i in range(5): uas.append(ua.random) #生 ...
分类：
其他好文 时间：
2019-09-26 23:23:47
阅读次数：
84
``` // 浏览器判断 getExplorer() { var explorer = window.navigator.userAgent, compare = function (s) { return (explorer.indexOf(s) >= 0); }, ie11 = (functio... ...
分类：
Web程序 时间：
2019-09-11 15:56:38
阅读次数：
122
爬取网站的思路 多级页面数据抓取 1、爬取一级页面，提取所需数据+链接，继续跟进 2、爬取二级页面，提取所需数据+链接，继续跟进 3、... 爬虫代码规范书写： 常见的反爬总结 基于User-Agent反爬 一般被关注的变量是userAgent和Referer和Cookie，可以考虑用浏览器中 1、 ...
分类：
其他好文 时间：
2019-09-11 09:35:38
阅读次数：
101
emm，今天突然想用下linux版本的web项目，发现进入浏览器后无法输入中文。。。鹅且也不知道中文输入法的入口。。。OTZ 摸索了一会，整理出来分享下~ 这里是分割线 啦啦啦啦 第一步：设置中文 话不多说直接看图： 第二步：安装中文输入法: ① 控制台输入：yum install “@Chines ...
分类：
系统相关 时间：
2019-09-10 17:59:07
阅读次数：
142
navigator对象包含有关浏览器的信息, 它有很多属性 , 我们最常用的是 userAgent ,该属性可以返回由客户机发送服务器的 user-agent 头部的值 下面前端代码可以判断用户哪个终端打开页面,实现跳转 ...
分类：
其他好文 时间：
2019-09-08 22:43:54
阅读次数：
118
一、前言 一般识别爬虫的方法是通过UserAgent，这种办法最直接，但也很容易伪造，先不管这个了。 二、配置方法 实现在nginx中使用map指令来匹配一个变量： 在这里我们生成了一个名为 $is_bot 的变量，该变量默认值是 0 ，如果匹配到上述 4 种正则表达式的情况后，值就变成1。你可以继 ...
分类：
其他好文 时间：
2019-09-02 12:01:46
阅读次数：
83
navigator 对象可以查看用户所使用的浏览器类型和系统平台类型。 1、userAgent 通过 userAgent 可以判断用户浏览器的类型。 Chrome 浏览器效果： 2、platform 通过 platform 可以判断浏览器所在的系统平台类型。 ...
分类：
编程语言 时间：
2019-09-01 16:37:09
阅读次数：
86
import osimport urllib import requests#import wximport time from fake_useragent import UserAgentfrom lxml import etreefrom urllib import request ua = ...
分类：
编程语言 时间：
2019-08-28 12:39:40
阅读次数：
89
<script src="js/jquery-2.2.3.min.js"></script> <script> var browser = { versions: function() { var u = navigator.userAgent, app = navigator.appVersion... ...
分类：
Web程序 时间：
2019-08-27 10:35:32
阅读次数：
103
网络上能搜索到的爬虫文章大多是用python做的,也有少部分是C#做的(小声:所以用VB.NET也可以做爬虫) 使用代码前先imports以下内容 写程序前先开浏览器(我用的Chrome),随便上个网页,F12看下header,粘下来useragent备用,也可以粘下accept,cookie等(在 ...
分类：
Web程序 时间：
2019-08-26 21:10:05
阅读次数：
107
