今天通过查资料了解到web的页面抓取功能,应用HttpWebRequest和HttpWebResponse功能,从http://www.showji.com网站中抓取归属地信息应该说这个方法是从别的论坛中学习来的,具体过程如下:通过IE9的网络监控功能:通过分析抓取的数据,将获取归属的地信息分析一条...
分类:
移动开发 时间:
2014-09-23 21:55:05
阅读次数:
220
如果你想做一些,抓取,或者是自动获取的功能,那么就跟我一起来学习一下Http请求吧。本文章会对Http请求时的Get和Post方式进行详细的说明,在请求时的参数怎么发送,怎么带Cookie,怎么设置证书,怎么解决 编码等问题,进行一步一步的解决。这个类是专门为HTTP的GET和POST请求写的,解决...
分类:
Web程序 时间:
2014-09-23 18:21:35
阅读次数:
324
【问题】用C#模拟网页登陆,其中去请求几个页面,会发起对应的http的请求request,其中keepAlive设置为true,提交请求后,然后会有对应的response:resp = (HttpWebResponse)req.GetResponse();之前的多次调试,一直都是可以正常获得对应的r...
分类:
Web程序 时间:
2014-09-23 17:31:34
阅读次数:
254
发送字符串数据发送数据string strId = "guest"; string strPassword = "123456"; string postData = "userid=" + strId; postData += ("&password=" ...
分类:
Web程序 时间:
2014-09-16 23:39:21
阅读次数:
264
现象我们编码实现请求一个页面时,请求的代码类似如下代码:HttpWebRequest req = (HttpWebRequest)WebRequest.Create(strUrl);req.UserAgent = "MSIE6.0";req.Method = "GET";HttpWebRespons...
分类:
Web程序 时间:
2014-09-05 17:39:31
阅读次数:
184
在一般的U3D网络开发中,直接使用WWW类便足够正常使用,但我在发现使用WWW下载大文件时,会导致整个程序卡顿的情况(不清楚是否我个人电脑问题),所以干脆使用HttpWebRequest/HttpWebResponse + await/async 来代替WWW。U3D中还是在使用比较低的Mono版本...
分类:
移动开发 时间:
2014-09-04 20:47:50
阅读次数:
566
今天做模拟登陆的时候,发现HttpWebResponse的Cookie都为空,但是Fiddler看是有的。。。后来看见是302状态,才知道请求这个的时候,Response回来已经是跳转了。。。这样Cookie就会消失。解决方法:1.var request = (HttpWebRequest)WebR...
分类:
Web程序 时间:
2014-09-01 19:20:13
阅读次数:
203
发送Get请求HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);req.Method = "GET";req.Timeout = config.Timeout;//设置超时时间HttpWebResponse res = (Http...
分类:
其他好文 时间:
2014-08-23 22:55:11
阅读次数:
176
需要用程序模拟登录一个网站,登录的时候需要填写验证码。设计的界面很简单:写程序前,先用浏览器的开发者工具观察下登录页面有什么请求,我这里用的是 FireBug,下面两个图是在 FireBug 的网络面板中截的。可以看到打开登录页面时有个 GET 请求验证码的,在 FireBug 中可以看到:上面的图...
分类:
Web程序 时间:
2014-08-14 20:02:59
阅读次数:
260
I am having problems with a bit of code that accesses a restful web service. Running this code, it errors out at var httpResponse = (HttpWebResponse)h...
分类:
Web程序 时间:
2014-08-08 20:56:16
阅读次数:
1149