第一次在博客园写博客写的不好，大家见谅。最近工作辞了，然后感冒发烧输了一个星期的液，感觉很烦躁，心情不是很好，在帝都感觉压力大，废话不说了开始正题把！还没有完全完成，后续考虑开源！可以关注微信公众帐号体验一下先看下 效果把先介绍下工具 我用的有 httpwatch，fiddler国家环保部的数据链接...
分类：
微信 时间：
2015-04-17 00:57:18
阅读次数：
404
CURL是liunx系统的一个命令行工具，目的是进行数据抓取；现在CURL已经在非常多的系统中使用，WIN用户可以使用DOS版本的CURL命令操作，操作方法很简单，就是在CMD窗口中找到CURL文件夹，执行CURL命令即可，C...
分类：
Web程序 时间：
2015-04-14 14:51:58
阅读次数：
165
###后端开发必备 MySQL - http://www.w3school.com.cn/php/php_mysql_intro.asp ###后端开发加速 ThinkPHP - http://document.thinkphp.cn/manual_3_2.html#autoload ###网站大数据 抓取 Alexa 数据 - http://www...
分类：
其他好文 时间：
2015-04-13 19:10:08
阅读次数：
134
python网页数据抓取全纪录在本文中，我将会为你展示一个基于新的异步库（aiohttp）的请求的代替品。我使用它写了一些速度的确很快的小数据抓取器，下面我将会为你演示是如何做到的。codego.net中介绍的方法如此多样的原因在于，数据“抓缺实际上包括很多问题：你不需要使用相同..
分类：
编程语言 时间：
2015-04-02 16:44:39
阅读次数：
208
学习笔记前言近期做一个数据抓爬工具，最开始使用的是C#控制台应用，同时正则表达式去过滤数据，看着还行，可每次运行都依附于.net framework很是不爽，于是想整点其他的方法。本人还是比较喜欢javascript的，思来想去决定用服务器端的javascript来试试！环境、工具准备1、[必装] ...
分类：
Web程序 时间：
2015-03-11 12:07:56
阅读次数：
228
前言：
爬取普通的文本网页非常容易，但爬取Silverlight的网页代码时，有时候可能会加密。这样就会很麻烦了。下面就爬取网站http://zx.bjmemc.com.cn/ （北京空气质量网）进行说明。
任务：
网站http://zx.bjmemc.com.cn/显示的内容如下图所示。我们的任务就是将空气质量数据抓取下来。
工具：
1、fiddler，http://www....
分类：
Windows程序 时间：
2015-02-28 20:22:02
阅读次数：
2170
转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2015-02-18 16:23:19
阅读次数：
196
1、hibernate 也可以通过标准的 SQL 进行查询 (1)、将SQL查询写在 java 代码中 /** * 查询所有 */
@Test
public void testQuery(){ // 基于标准的 sql 语句查询 String sql = "select * from t_perso...
分类：
Web程序 时间：
2015-02-17 19:52:50
阅读次数：
205
年前有个坑爹的需求来了，要把某点评网商户数据都给获取下来存储于数据库，好啦其实这个东西是蛮简单的；首先到点评网把城市数据给拷贝下来，当然你也可以写个脚本把数据抓取下来，不够我没这么干；好了下面是用于抓取数据的脚本，下面我分享下给大家：城市列表：alashan|57|阿拉善anshan|58|鞍山an...
分类：
其他好文 时间：
2015-02-16 00:21:42
阅读次数：
880
