运行前先导入dom4j架包,由于我们公司用的代理服务器所以下面我设置了代理ip,不需要的可直接忽略package com.chengshidaima.tools;import java.io.BufferedReader;import java.io.InputStreamReader;import...
分类:
编程语言 时间:
2014-07-12 13:44:12
阅读次数:
271
最简单的爬虫,不需要设定代理服务器,不需要设定cookie,不需要http连接池,使用httpget方法,只是为了获取html代码...好吧,满足这个要求的爬虫应该是最基本的爬虫了。当然这也是做复杂的爬虫的基础。使用的是httpclient4的相关API。不要跟我讲网上好多都是httpclient3...
分类:
编程语言 时间:
2014-07-09 20:49:07
阅读次数:
299
缘起于玩唱吧,因为唱吧好友少,访问量低,又不想加什么亲友团之类的,主要是太麻烦了,于是我就琢磨唱吧的访问机制,准备用java的httpclient库来进行刷访问量,想到动态IP重复使用就想到了用多线程来进行刷,但发现速度并没有增快,仍然是刷完一个网址刷下一个网址,这里刷的顺序是随机的。 主要让人伤脑筋的是那代理IP,去网上找了1000多个IP,有好多都是响应速度太慢了,以至于我设定了超时机制,超过...
分类:
编程语言 时间:
2014-07-08 12:46:04
阅读次数:
279
mysql代理服务器的搭建(读写分离)实验环境:所有主机之间物理连接正常2台数据库服务器上的数据库服务要正常运行,并在期内建立一个同名同表的库,但内容区别,以便验证停止mysql代理服务器上的数据库服务2台数据库服务器上授权yeyue用户可以从网络中的所有主机访问自己,对自..
分类:
数据库 时间:
2014-07-08 12:21:00
阅读次数:
2049
原文:C# winform调用WebBrowser经典怪问题总结最近一直研究网页数据采集,单单采集数据,其实HtmlAgilityPack就足够了。对HtmlAgilityPack感兴趣的可以到这里看看:C#采集代理服务器ip并设置IE代理--HtmlAgilityPack实战代码 但是有个问题:要...
一、简介代理服务器英文全称是Proxy Server,其功能就是代理网络用户去取得网络信息。Squid是一个缓存Internet 数据的软件,其接收用户的下载申请,并自动处理所下载的数据。当一个用户想要下载一个主页时,可以向Squid 发出一个申请,要Squid 代替其进行下载,然后Squid 连接...
分类:
其他好文 时间:
2014-07-03 23:27:02
阅读次数:
388
实验目的:
让Nginx支持flv和mp4格式文件,支持RTMP协议的直播和点播;
同时打开RTMP的HLS功能
?资料:
HTTP Live Streaming(缩写是 HLS)是一个由苹果公司提出的基于HTTP的流媒体网络传输协议。
HLS只请求基本的HTTP报文,与实时传输协议(RTP)不同,HLS可以穿过任何允许HTTP数据通过的防火墙或者代理服务器。
它也很容易使用内容分...
分类:
其他好文 时间:
2014-07-02 16:37:24
阅读次数:
170
Nginx反向代理及优化一、反向代理概念反向代理(ReverseProxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器。通常的代理服务器,..
分类:
其他好文 时间:
2014-07-02 11:21:17
阅读次数:
213
Nginx反向代理 Nginx通过proxy模块实现反向代理功能。在作为web反向代理服务器时,nginx负责接收客户请求,并能够根据URI、客户端参数或其它的处理逻辑将用户请求调度至上游服务器上(upstream server)。nginx在实现反向代理功能时的最重要指令为proxy_pass,....
分类:
其他好文 时间:
2014-07-02 10:36:18
阅读次数:
209