Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单。Snoopy正确运行需要你的服务器的PHP版本在4.0以上,并且支持PCRE(Perl Compatible Regular Expressions),基本的LAMP服务都支持。Snoopy类的下载地址为:http://s...
分类:
Web程序 时间:
2014-12-28 10:20:57
阅读次数:
200
httpClient能够模拟浏览器进行自动登陆,但是如果页面上加了一个小小的验证码,自动登陆就会变的非常非常之复杂。
下面我们讨论的问题,都是不考虑有验证码等防止自动化登陆的情况下进行处理。
利用httpClient进行一个简单的登陆示例:
packagetest.ffm83.commons.httpClient;
importjava.util.ArrayList;
import...
分类:
Web程序 时间:
2014-12-16 10:06:37
阅读次数:
266
下面是一个 Python 爬虫最简单的例子,使用网络库urllib2 和正则表达式库re,模拟浏览器的 User-Agent。#!/usr/bin/env python# -*- coding: utf-8 -*-#引入基础网络库import urllib2#引入正则表达式模块import re#模...
分类:
编程语言 时间:
2014-12-10 19:46:40
阅读次数:
248
利用java中的HttpUrlConnection上传文件,我们其实只要知道Http协议上传文件的标准格式。那么就可以用任何一门语言来模拟浏览器上传文件。下面有几篇文章从http协议入手介绍了java中上传文件. Java使用HttpURLConnection上传文件 使用HttpUrlConnec...
分类:
编程语言 时间:
2014-11-27 12:41:12
阅读次数:
232
现在加最后一样,就是oauth2,现在很多网站都有对应的移动版本,那么移动端访问服务端的服务怎么控制权限,我知道的主要是两种方法,第一是模拟浏览器,访问服务的时候会生成session,之后在移动端缓存cookie,每次网络请求都把cookie加上,还有一种就是通过oauth2,登录之后生成一个凭证,...
分类:
编程语言 时间:
2014-11-21 14:14:20
阅读次数:
223
string responseStr = null; string boundary = "----------------------" + DateTime.Now.Ticks.ToString("x"); byte[] boundarybytes...
分类:
Web程序 时间:
2014-11-19 18:20:15
阅读次数:
206
http://e.neusoft.edu.cn/nav_login
模拟浏览器登录上面这个网站,登录服务器根据验证码、refer和cookie保护措施,验证码在html文件里。
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputSt...
分类:
编程语言 时间:
2014-11-18 13:28:51
阅读次数:
257
我们在一些场合经常需要模拟浏览器进行一些操作,比如模拟投票,或者模拟点击,或者Web游戏外挂。而C#中封装好的WebClient可以在某些要求不算搞的场景实现Http的Post和Get。具体请见代码:using System;using System.Collections.Generic;usin...
分类:
Web程序 时间:
2014-11-12 14:54:54
阅读次数:
205
实现核心:代码执行流程,根据抓包工具,模拟浏览器请求步骤走 privatestaticvoidtestLogin(){try{// api.163-->>api.163.login-->>youdao.reg-->>youdao.crossdomain-->>api.163String ca...
分类:
Web程序 时间:
2014-11-08 13:25:04
阅读次数:
625
持续进行中。。。目标:动态User-Agent模拟浏览器 √支持Proxy设置,避免被服务器端拒绝√支持多核模式,发挥多核CPU性能 √支持核内并发模式 √自动解码非英文站点,避免乱码出现 √自动队列管理,持续化PUSH √自动抓取文章标题和正文√性能优化测试用例,自动化测试我的测试环境:9 台安装...
分类:
Web程序 时间:
2014-11-07 18:27:04
阅读次数:
218