这个案例可能不太智能，有个朋友和我说他们公司让他爬携程的酒店价格信息，我当时去看了一下，发现携程的信息爬起来挺麻烦，城市是必输项，酒店名是选输项，跳转的url中城市后面带一个数字，对于这个每个城市表示的数字的规则我不知道，这样我只能定向爬一个城市，或者就是模拟浏览器之类，觉得挺麻烦，到了酒店页面又有挺多东西看着头疼，我对他说这个挺麻烦的，分析花的时间会很久，后来他说他们公司是人工输入酒店价格详情的...
分类：
编程语言 时间：
2016-05-12 18:44:25
阅读次数：
841
使用HttpClient来模拟浏览器登录网站，然后可以进行操作，比如发布信息等 第一步：获取实际的post网址，（不考虑复杂情况下） 1、需要使用到firefox的httpfox插件，httpfox中clear一下，然后start开始捕获 2、切换回网页的登录页面，开始输入自己的账号密码登录，登录成 ...
分类：
编程语言 时间：
2016-05-10 18:09:02
阅读次数：
178
模拟浏览器向服务器发送请求四种方式： jdk原生的Http包下的一些类 httpclient（比较原始，不怎么用了）：第一章 HttpClient的使用 Okhttp（好用，推荐） retrofit（好用，推荐），用法：第七章 springboot + retrofit 看本章之前可以先看看第七章 ...
分类：
编程语言 时间：
2016-05-09 22:04:00
阅读次数：
2184
一般的情况下我们都是使用IE或者Navigator浏览器来访问一个WEB服务器，用来浏览页面查看信息或者提交一些数据等等。所访问的这些页面 有的仅仅是一些普通的页面，有的需要用户登录后方可使用，或者需要认证以及是一些通过加密方式传输，例如HTTPS。目前我们使用的浏览器处理这些情况都 不会构成问题。 ...
分类：
编程语言 时间：
2016-04-26 16:01:44
阅读次数：
668
经常碰到网站，账号密码通过js加密后进行提交。通过burp拦截抓到的账号密码是加密后的，所以无法通过burp instruder进行破解。只能模拟浏览器填写表单并点击登录按钮进行破解。于是想到了自动化web测试工具selenium，代码如下，测试效果还不错。 package com.example. ...
分类：
Web程序 时间：
2016-04-26 14:20:29
阅读次数：
478
Selenium 也是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE(7、8、9)、Mozilla Firefox、Mozilla Suite、Google Chrome等。这个工具的主要功能包括：测试与浏览器的兼容性——测试 ...
分类：
其他好文 时间：
2016-04-09 20:20:46
阅读次数：
127
cURL可以使用URL的语法模拟浏览器来传输数据， 因为它是模拟浏览器，因此它同样支持多种协议，FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP等协议都可以很好的支持，包括一些：HTTPS认证，HTTP POST方法，HTTP PU ...
分类：
Web程序 时间：
2016-04-01 21:56:43
阅读次数：
169
Python使用mechanize模拟浏览器 之前我使用自带的urllib2模拟浏览器去进行訪问网页等操作，非常多站点都会出错误，还会返回乱码。之后使用了 mechanize模拟浏览器，这些情况都没出现过，真的非常好用。这里向大家推荐一下。 mechanize是对urllib2的部分功能的替换，能够
分类：
编程语言 时间：
2016-03-07 20:39:45
阅读次数：
269
telnet 客户端 telnet客户端能够发出请求去连接服务器（模拟浏览器） 使用telnet之前，需要开启telnet客户端 1.进入控制面板 2.进入程序和功能，选择打开或关闭windows功能 3.进入后找到telnet客户端，点击确定 模拟浏览器发出http协议请求 1.打开telnet客
分类：
Web程序 时间：
2016-03-01 12:22:06
阅读次数：
263
我想实现的是每次根据给出的关键词搜索百度结果页其中php抓取代码如下：<?php$url="http://www.baidu.com/s?wd=生命动力";//构造包头，模拟浏览器请求$header=array( "Host:www.baidu.com", "Content-Type:application/x-www-form-urlencoded",//post请求 "Connection:ke..
分类：
Web程序 时间：
2016-02-28 17:01:50
阅读次数：
145
