上一篇说到对付反爬虫有一个很关键的方法就是使用IP代理,那么我们应该如何获取这些可用的IP代理呢?这里分享一下自己这两天的一些爬取IP代理的心得体会。 1 步骤 1.找到几个提供免费IP代理的网站,获取IP数据源 2.验证对应的IP代理访问出口IP是否跟本机的出口IP一致,得到不一致的IP代理列表 ...
分类:
其他好文 时间:
2017-07-23 18:25:56
阅读次数:
517
Network Destination:目标网段 Netmask:子网掩码,IP地址与子网掩码按位与,可以得出该IP地址的网络号,IP地址与子网掩码取反后按位与,可以得出该IP地址的主机号。 Interface:达到该目标网段的本地路由器的出口IP。 Gateway:网关IP,下一跳路由器的入口IP ...
分类:
其他好文 时间:
2017-07-15 23:56:43
阅读次数:
933
原文:http://blog.csdn.net/ghostly78/article/details/480706 教你如何读懂路由表, 你能读懂路由表吗?不懂?进来看看吧! 当前的路由: destination 目的网段 mask 子网掩码 interface 到达该目的地的本路由器的出口ip ga ...
分类:
其他好文 时间:
2017-07-07 10:27:06
阅读次数:
232
我的server是在内网192.168.2.有一台agent是其他网段内网ip192.168.1.(有公网ip)在添加监控时,无法获取数据,两个网段无法telnet通,所以决定用公网通信的方式采集数据,如何确定server的出口ip呢。防火墙这里要允许进入,在agent上添加规则,不然无法telnet通iptables-IINP..
分类:
其他好文 时间:
2017-04-21 14:56:27
阅读次数:
193
说明:A公司的PC1所在网段192.168.1.0/24要和B公司PC2所在网段172.16.2.0/24建立GREtunnel通信配置思路:1、R1与R2要能通信--R1和R2分别配置默认路由到ISP2、新建tunnel端口,设置IP,双方要在同一网段;配置source即公网出口IP和destination即对方公网出口ip3、此时双方tunnel..
分类:
系统相关 时间:
2017-04-18 20:20:58
阅读次数:
287
一、组播路由表主要内容:1、源2、目的3、入接口4、RPF接口5、RPF邻居二、pim协议pim(协议无关协议),此处协议无关是指单播协议无关,PIM可以基于任意单播协议工作。注意,组播是基于单播进行工作的,虽有组播表但是最终是查找单播路由表寻找出口。IP协议号为103不必发送组播..
分类:
其他好文 时间:
2017-03-15 19:32:54
阅读次数:
356
最近爬虫项目中被封,服务器上绑定了多个ip,就想着怎样才能把多个ip都利用起来,想过设置成代理服务器的想法,但是由于某些原因放弃,所以采用动态改变服务器出口ip的方式将多个ip利用起来。首先获取服务器绑定的ippublicstaticvoidgetLocalIps(){
try{
for(Enumeration<N..
分类:
编程语言 时间:
2017-01-13 01:40:43
阅读次数:
169
问题现象:解决办法:登陆邮件服务器,安全——安全设置——屏蔽——动态屏蔽,点击【白名单】按钮,把客户端当前出口ip地址添加进去即可。小小提示:无论是动态屏蔽还是ip屏蔽,都会出现这个客户端被refused的哦
分类:
其他好文 时间:
2016-11-06 00:02:23
阅读次数:
322
###########################################################################1、查询外网出口IP:elinkshttp://ip.zxinc.org/getipelinkshttp://www.whatip.net/############################################################################rhel6或centos6关闭ipv6:1、在..
分类:
其他好文 时间:
2016-09-27 20:41:31
阅读次数:
169