码迷,mamicode.com
首页 > Web开发 > 详细

说说gogoTester-nodejs 的实现

时间:2015-05-31 10:45:09      阅读:147      评论:0      收藏:0      [点我收藏+]

标签:

    一直在使用goagent,所以对于查找google可用ip有了很大的兴趣,在github上面发现有一个项目是gogoTester,是用来查找google ip的,于是突发奇想自己用nodejs写了一个,为gogoTester-nodejs,用nodejs实现查询google可用ip。gogoTester-nodejs 跟 gogoTester其实没有啥联系,除了使用一样的ip range(ip 段范围),其他的都是自己折腾出来的,因为gogoTester是用c#写得,看得不懂...

    git项目地址为:osc@git https://git.oschina.net/subying/gogoTester-nodejs ;github:https://github.com/subying/gogoTester-nodejs

    其实实现起来并不难,毕竟菜鸟。实现的方式可以能会有多种,但是流程应该是差不多,这也是一个很傻瓜化的方式,就是拿到一堆google可能会用到的ip段,然后逐个去测试,测试通过的就是可用的ip,至少能够通过这个ip直接访问google了,可以分一下几步来实现:

    1.找到可用的ip 段    

    我承认我也不知道,所以我直接拿的是别人的,直接从gogoTester那里拿到了,然后转换成了数组,在我git项目中的ip.js可以看到,以后扩展也是通过维护这个文件。其中的代码是这样的方式

var iptables = [];
iptables.push("1.179.248.0-255");
iptables.push("1.179.249.0-255");
iptables.push("1.179.250.0-255");

    数组里面的每一项是用ip段和范围组成的,“1.179.248.0-255 ”表示1.179.248.0-1.179.248.255这样的Ip段范围,所以需要一个转换的方法。

    2.把数组中的每一项转成对应的ip段

    “1.179.248.0-255”表示1.179.248.0-1.179.248.255这样的Ip段范围 ,那么就用split方法把字符串分成四段,最后一段是范围值,可以这样做:

checkStr:function(str){//检查并转换
        var arr = str.split(‘.‘)
            ,_ipStr = arr[0]+‘.‘+arr[1]+‘.‘+arr[2]+‘.‘
            ,_range = arr[3].split(‘-‘)
            ,_start = _range[0] || 1
            ,_end = _range[1]
            ,i = _start
            ,_self = this
        ;
        _self._ipStr = _ipStr;
        for(;i<_end;i++){
            _self.pushTask(i);
        }
    }

    这样通过最后的一段循环,把需要查询的ip给记录下来。

    3.   测试的方法

    拿到需要查询的Ip后就是进行测试了,我这里用的是简单的http请求,通过判断返回的是否为‘gws‘(google服务器)来判断是否为google ip。方法里面还设置了超时,毕竟大家都不想访问一个太卡的Ip,所以设置了请求响应的时间,方法如下

function httpGet(ip,cb){
    var req = http.get(‘http://‘+ip)
        ,err=false
    ;

    function endAysnc(){
        req.abort();

        if(!err){
            err = true;
            cb();
        }
    }

    req.on(‘response‘,function(res){
        //修改了判断,直接用header信息中server的判断,加快了判断速度
        if(res.headers.server === ‘gws‘){
            checkIpPad.addGoodIp(ip);
        }
        res.destroy();

        endAysnc();
    })
    .on(‘error‘,function(err){
        endAysnc();
        //throw err;
    })
    .setTimeout(checkIpPad.timeout,function(){
        endAysnc();
    });

    return req;
}

    4.执行测试的控制

    nodejs的http请求都是异步的,如果你不控制请求的数量,我保证你的程序很快就挂掉了,那么就需要控制同时执行的任务数量,我这里用的是async模块,这是一个很不错的模块,这里就不介绍了,大家可以搜索来了解,方法如下:

var q = async.queue(function(task, callback) {
    util.log(‘worker is processing task: ‘+task.name);
    task.run(callback);
}, checkIpPad.threadNum);
/**
* 监听:如果某次push操作后,任务数将达到或超过worker数量时,将调用该函数
*/
q.saturated = function() {
    util.log(‘all workers to be used‘);
}

/**
* 监听:当最后一个任务交给worker时,将调用该函数
*/
q.empty = function() {
    util.log(‘no more tasks wating‘);
}

/**
* 监听:当所有任务都执行完以后,将调用该函数
*/
q.drain = function() {
    checkIpPad.finishTask();
}

    5.测试顺序的方式

    ip.js文件里面包含的ip段就有2000多,每个ip段里面包含了一个范围,也就是有多个ip,这样下来就会有很多ip需要测试了,这个时候需要考虑测试的方式。当然最简单的就是从头到尾测试,这是最直接的方法,但是这样可能耗时会比较多。我这里还用了一个随机测试的方法,主要是数组长度范围内的随机数,然后再去找到这个对应的Ip段,再去测试里面的Ip,需要注意的是要防止重复

,randomCheck:function(){//随机查询
        var _self = this
            ,_num = _self.getRandom(0,_self.len-1)
            ,_str = _self.arr[_num];
        ;
        _self.checkType=‘random‘;
        _self.index = _num;
        _self._cacheIndex = _self._cacheIndex + ‘_‘+_num+‘_‘;

        _self.checkStr(_str);
    }
    ,listCheck:function(){//顺序查找
        var _self = this
            ,_num = _self.isInit?_self.index+1:_self.index
            ,_str
        ;
        if(_num>=_self.len){
            return false;
        }

        _self.checkType=‘list‘;
        _self.index = _num;
        _str = _self.arr[_num];
        _self.checkStr(_str);
    }
    ,getRandom:function(t1,t2){//获取随机数
    	var _self = this
    		,_num = Math.floor(Math.random()*(t2-t1)+t1)
    		,_flag = true
    		,_cache = _self._cacheIndex
    	;
    	while(_flag){
    		if(_cache.indexOf(‘_‘+_num+‘_‘)===-1){
    			_flag = false;
    		}else{
    			_num = Math.floor(Math.random()*(t2-t1)+t1);
    		}
    	}
        return _num;
    }

    这里看到了随机测试和顺序测试的方法,经过本人测试,发现随机测试平均耗时会更少一些,不过话说是靠人品的...

    实现的方式就是这样,里面主要是用到了Ip段、http请求、async控制和随机测试,感兴趣的朋友可以了解一下。另外,我用到的Http请求的方式是不够严谨的,因为google用的是https协议,所以用Https会更好,但是我目前还没有实现,希望已经实现的朋友能给我一些帮助。

    本文同步发表在我的个人博客:http://www.subying.com/archives/125.html。   

说说gogoTester-nodejs 的实现

标签:

原文地址:http://www.cnblogs.com/subying/p/4541592.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!