标签:开发 采集 电脑配置 do while 批量 不能 根据 使用 ror
原始出处:http://www.cnblogs.com/Charltsing/p/winhttpasyn.html
最近老有人问能不能绕过世纪佳缘的会员验证来采集图片,我测试了一下,发现是可以的。
同时也测试了winhttp异步采集的效率。(在vba里面使用winhttp开发速度快)
经过测试,在网站不忙的情况下,检索一万个会员大约只需要三分钟或者更少的时间。
下面简单说一下如何使用winhttp做并发采集:
1、在类模块里面建立winhttp的各种事件,用于处理error和response数据。建立一个bool变量指示该实例是否空闲。
2、在标准模块中,根据uid自动生成url,并建立一个索引变量,用于指示已经发送的网站URL的序号。
3、在标准模块中创建winhttp实例数组,用于并发。数量推荐不要超过1000,具体和网络及电脑配置有关。
4、在do while循环中监测winhttp实例数组,如果有空闲的即设置url启动request。
具体winhttp类模块中的事件写法,请自行百度。
技术交流请联系qq:564955427
**
标签:开发 采集 电脑配置 do while 批量 不能 根据 使用 ror
原文地址:http://www.cnblogs.com/Charltsing/p/winhttpasyn.html