使用PHP的cURL库可以简单和有效地去抓网页。你只需要运行一个脚本，然后分析一下你所抓取的网页，然后就可以以程序的方式得到你想要的数据 了。无论是你想从从一个链接上取部分数据，或是取一个XML文件并把其导入数据库，那怕就是简单的获取网页内容，cURL 是一个功能强大的PHP库。PHP中的CURL函...
分类：
Web程序 时间：
2014-12-03 20:58:58
阅读次数：
200
cURL 是一个利用URL语法规定来传输文件和数据的工具，支持很多协议，如HTTP、FTP、TELNET等。最爽的是，PHP也支持 cURL 库。本文将介绍 cURL 的一些高级特性，以及在PHP中如何运用它。为什么要用 cURL?是的，我们可以通过其他办法获取网页内容。大多数时候，我因为想偷懒，都...
分类：
Web程序 时间：
2014-12-03 18:36:40
阅读次数：
283
在同一个类中需要导入以下的包：import java.net.MalformedURLException;import java.net.URL;import java.net.URLConnection; 1 @Test 2 public void e() throws Malformed...
分类：
编程语言 时间：
2014-11-26 11:09:40
阅读次数：
166
最近经常需要下载一些东西，而这个下载地址又会经过层层跳转，每个页面上都有很多广告，烦不胜烦，所以做了一个一键获得最终下载地址的小工具。使用C#，来获取网页内容，然后通过HtmlAgilityPack获取某a标签的href，不断循环，层层跳转，最后获得最终下载地址。 下面，介绍HtmlAgil...
public Bitmap getWebBitmap(String imgUrl) { Bitmap bitmap =null; try { InputStream inputStream = null; URL url; ...
分类：
移动开发 时间：
2014-11-19 00:05:49
阅读次数：
246
public String getWebData(String strUrl){ String json = null; try { URL url = new URL(strUrl); HttpURLConnection ...
分类：
Web程序 时间：
2014-11-18 23:56:18
阅读次数：
207
1. 浏览器的发展与CSS网页浏览器主要通过HTTP协议连接网页服务器而取得网页，HTTP容许网页浏览器送交资料到网页服务器并且获取网页。目前最常用的 HTTP 是 HTTP/1.1，这个协议在RFC2616中被完整定义。HTTP/1.1 有其一套Internet Explorer并不完全支援的标准...
分类：
Web程序 时间：
2014-11-18 23:54:01
阅读次数：
239
PHP 使用 获取网页内容：
if (! preg_match('@^https?://@', $url)) {
die('HTTP(s) only.');
}
$httpOpts = array(
'max_redirects' => 0
,'timeout' => 3
);
if ($ua !== '') {
$httpOpts['user_ag...
分类：
Web程序 时间：
2014-11-18 10:21:31
阅读次数：
273
获取网页快照并生成缩略图可分两步进行：1、获取网页快照2、生成缩略图获取网页快照这里我们用phantomjs 来实现。关于phantomjs 的详细用法可参考官方网站。1、安装我的环境是CentOS6.5，安装时直接下载 tarball 然后解压即可。# wget https://bitbucket...
分类：
Web程序 时间：
2014-11-16 18:34:54
阅读次数：
302
获取网页快照并生成缩略图可分两步进行：1、获取网页快照2、生成缩略图获取网页快照这里我们用phantomjs 来实现。关于phantomjs 的详细用法可参考官方网站。1、安装我的环境是CentOS6.5，安装时直接下载 tarball 然后解压即可。# wget https://bitbucket...
分类：
Web程序 时间：
2014-11-15 11:21:44
阅读次数：
264
