最简单的爬虫，不需要设定代理服务器，不需要设定cookie，不需要http连接池，使用httpget方法，只是为了获取html代码...好吧，满足这个要求的爬虫应该是最基本的爬虫了。当然这也是做复杂的爬虫的基础。使用的是httpclient4的相关API。不要跟我讲网上好多都是httpclient3...
分类：
编程语言 时间：
2014-07-09 20:49:07
阅读次数：
299
你是否苦恼于网上无法下载的“小说在线阅读”内容？或是某些文章的内容让你很有收藏的冲动，却找不到一个下载的链接？是不是有种自己写个程序把全部搞定的冲动？是不是学了 python，想要找点东西大展拳脚，告诉别人“哥可是很牛逼的！”？那就让我们开始吧！ 哈哈
好吧，我就是最近写 Yii 写多了，想找点东西调剂一下.... = =
本项目以研究为目的，所有版权问题我们都是站在作者的一边，以看盗版小说为目的的读者们请自行面壁！
说了这么多，我们要做的就是把小说正文的内容从网页上爬下来，我们的...
分类：
编程语言 时间：
2014-07-08 19:53:59
阅读次数：
311
写过很多个爬虫小程序了，之前几次主要用C# + Html Agility Pack来完成工作。由于.NET BCL只提供了"底层"的HttpWebRequest和"中层"的WebClient，故对HTTP操作还是需要编写很多代码的。加上编写C#需要使用Visual Studio这个很"重"的工具，开...
分类：
Web程序 时间：
2014-07-06 20:03:05
阅读次数：
346
最近，为了微信公众号的图文，上网疯狂的收集和看了一些有深度的新闻和有趣的引人深思的文字评论，并选择了几篇极品发布出去。但感觉一篇一篇的看实在是麻烦死了。想找一个简单的解决办法，看能不能自动把网上的资料收集起来，然后自己用统一筛选。不巧，最近准备学习下网络爬虫相关知识，于是按照网上的教程自己学着试写了一个小小的爬虫，嘻嘻，是用来爬韩寒博客的。
先把完整的代码贴上来，如果朋友们需要试验下，请...
分类：
编程语言 时间：
2014-07-06 10:11:48
阅读次数：
325
package com.letv.cloud.spider;import java.util.HashSet;import java.util.List;import us.codecraft.webmagic.Page;import us.codecraft.webmagic.Site;impor...
分类：
Web程序 时间：
2014-07-05 18:52:01
阅读次数：
266
近期在用caffe玩一些数据集，这些数据集是从淘宝爬下来的图片。主要是想研究一下对女性衣服的分类。以下是一些详细的操作流程，这里总结一下。1 爬取数据。写爬虫从淘宝爬取自己须要的数据。2 数据预处理。将图片从jpg，png格式转为leveldb格式。由于caffe的输入层datalayer是从lev...
分类：
其他好文 时间：
2014-07-03 19:23:59
阅读次数：
195
进行抓取页面，我看了一下人家的教程，一般要用到htmlparser用来解析html得到一个网页的相关链接，用httpclient抓取网页数据，下面是一我写的spider类package com.openzone.search.spider;import java.io.BufferedReader;...
分类：
编程语言 时间：
2014-07-01 21:43:29
阅读次数：
261
发现科大网页的源码中还有文章的点击率，何不做一个文章点击率的降序排行。简单，前面入门（1）基本已经完成我们所要的功能了，本篇我们仅仅需要添加：一个通过正则获取文章点击率的数字；再加一个根据该数字的插入排序。ok，大功告成！简单说一下本文插入排序的第一个循环，找到列表中最大的数，放到列表 0 的位置做...
分类：
编程语言 时间：
2014-07-01 14:01:14
阅读次数：
245
有人说大部分python程序员都是通过爬虫入门的或者都是由爬虫喜欢上python的。还有大部分人学爬虫都喜欢拿自己学校的网站练手。我就是基于以上两点开始的。。。ok，开始，首先你需要一点python基础，一点点基础就可以，找一本薄薄的书过一遍，可以上这来找找http://wiki.woodpecke...
分类：
编程语言 时间：
2014-07-01 11:47:07
阅读次数：
316
