1、首先要安装JVM，确认是不是安装和配置成功，可以用命令输入 “java -version”查询 2、从官网下载Jmeter，解压 3、录制脚本或者自己根据接口文档/抓包获取接口编写测试的脚本（注：本质就是通过接口协议模拟浏览器访问服务器） 4、配置线程数，每个线程数代表一个模拟操作的人，如果电脑 ...
分类：
其他好文 时间：
2019-10-14 12:51:36
阅读次数：
104
需要做的准备： 本文章是使用Chrome，所以需要Chormedriver.exe，具体的下载过程可以百度查到 Selenium是一种自动化测试工具，能模拟浏览器的行为，所以今天我就模拟一下浏览器登陆博客园的行为。 首先，分析问题，登陆博客园需要做些什么： 1.打开浏览器 2.输入博客园主页的网址 ...
分类：
编程语言 时间：
2019-10-12 12:59:56
阅读次数：
241
之前写的两篇爬虫体验基本上涵盖了一般的Html页面提取场景，但是有些时候，如果目标页面不是纯静态的页面，而是使用js动态渲染的页面（比如one），之前的爬虫就不好使了，这种时候就要借助一些其他工具来进行实现。一般爬取动态页面的思路是通过软件模拟浏览器行为获取到渲染后的页面镜像，然后再对渲染后的页面进... ...
分类：
Web程序 时间：
2019-10-09 15:56:02
阅读次数：
320
urllib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。 urlopen函数： 在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了，以先来看下urlo ...
分类：
Web程序 时间：
2019-10-08 12:13:10
阅读次数：
85
requests，发送http请求（用python模拟浏览器浏览网页）requests.get("http://www.baidu.com") 示例： 1 import requests 2 response = requests.get("http://www.weather.com.cn/ada ...
分类：
编程语言 时间：
2019-10-07 23:16:19
阅读次数：
115
scrapy.FormRequest 通过FormRequest函数实现向服务器发送post请求，请求参数需要配合网站设计发送特殊参数。 scrapy.FormRequest.from_response FormRequest.from_response模拟浏览器点击行为向服务器发送post请求 只 ...
分类：
其他好文 时间：
2019-10-03 12:20:38
阅读次数：
99
import requestsfrom lxml import etree url='https://ie.icoa.cn/'head={'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like ...
分类：
其他好文 时间：
2019-09-26 23:43:24
阅读次数：
235
场景：在APP页面开发中，有一个需求，做一个返回按钮，实现的功能和浏览器的后退按钮相同。 措施：具体思路如下： 1.开始打开页面时，浏览器的history.length为1，按钮隐藏； 2.当history.length>1时，点击按钮执行 history.go(-1)； 3.后退到历史记录栈中第一 ...
分类：
其他好文 时间：
2019-09-24 23:07:52
阅读次数：
180
一：selenium 库 selenium 每次模拟浏览器打开页面，xpath 匹配需要抓取的内容。可以，但是特别慢，相当慢。作为一个对技术有追求的爬虫菜鸡，狂补了一些爬虫知识。甚至看了 scrapy 框架，惊呆了，真棒！ 网上很多关于 selenium 库的详细介绍，这里略过此方法。 二： req ...
分类：
编程语言 时间：
2019-09-24 14:16:16
阅读次数：
206
第一篇文章介绍了使用原生的PHP和PHP的扩展库实现了爬虫技术。本文尝试使用PHP爬虫框架来写，首先对三种爬虫技术phpQuery，PHPcrawer， snoopy进行对比，然后分析模拟浏览器行为的方式，重点介绍下snoopy 所有代码挂在我的github上1.几种常用的PHP爬虫框架对比 1.1 ...
分类：
Web程序 时间：
2019-09-20 23:21:26
阅读次数：
114
