码迷,mamicode.com
首页 > Windows程序 > 详细

批量采集世纪佳缘会员图片及winhttp异步采集效率

时间:2017-08-15 12:00:15      阅读:282      评论:0      收藏:0      [点我收藏+]

标签:开发   采集   电脑配置   do while   批量   不能   根据   使用   ror   

原始出处:http://www.cnblogs.com/Charltsing/p/winhttpasyn.html

 

最近老有人问能不能绕过世纪佳缘的会员验证来采集图片,我测试了一下,发现是可以的。

同时也测试了winhttp异步采集的效率。(在vba里面使用winhttp开发速度快)

经过测试,在网站不忙的情况下,检索一万个会员大约只需要三分钟或者更少的时间。

 

下面简单说一下如何使用winhttp做并发采集:

1、在类模块里面建立winhttp的各种事件,用于处理error和response数据。建立一个bool变量指示该实例是否空闲。

2、在标准模块中,根据uid自动生成url,并建立一个索引变量,用于指示已经发送的网站URL的序号。

3、在标准模块中创建winhttp实例数组,用于并发。数量推荐不要超过1000,具体和网络及电脑配置有关。

4、在do while循环中监测winhttp实例数组,如果有空闲的即设置url启动request。

具体winhttp类模块中的事件写法,请自行百度。

 

技术交流请联系qq:564955427

 

**

批量采集世纪佳缘会员图片及winhttp异步采集效率

标签:开发   采集   电脑配置   do while   批量   不能   根据   使用   ror   

原文地址:http://www.cnblogs.com/Charltsing/p/winhttpasyn.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!