昨晚用自己写的网络爬虫程序从某网站了下载了三万多张图片，很是爽快，今天跟大家分享几点内容。
一、内容摘要
1：Java也可以实现网络爬虫
2：Jsoup.jar包的简单使用
3：可以爬某网站的图片，动图以及压缩包
4：可以考虑用多线程加快下载速度
二、准备工作
1：安装Java JDK
2：下载Jsoup.jar
3：安装Eclipse或其他编程环境
4：新建一个Java项目，...
分类：
编程语言 时间：
2016-05-24 12:11:57
阅读次数：
220
1.什么是爬虫 爬虫，即网络爬虫，大家可以理解为在网络上爬行的一只蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到资源，那么它就会抓取下来。想抓取什么，就靠你自己去控制它。 比如它在抓取一个网页，在这个网中它发现了一条道路，其实就是指向网页的超链接，那么它就可以爬虫另一张网 ...
分类：
编程语言 时间：
2016-05-22 21:29:14
阅读次数：
173
一、前言 前一段时间，小小的写了一个爬虫，是关于电商网站的。今天，把它分享出来，供大家参考，如有不足之处，请见谅！（抱拳） 二、准备工作 我们实现的这个爬虫是Java编写的。所用到的框架或者技术如下： Redis：分布式的Key-Value数据库，用来作存储临时的页面URL的仓库。 HttpClie ...
分类：
其他好文 时间：
2016-05-21 01:18:58
阅读次数：
375
Python scrapy 安装和简单网络爬虫的代码实现...
分类：
编程语言 时间：
2016-05-18 18:23:53
阅读次数：
308
近年来，随着网络不断的发展，网络信息量也变得更多更大，基于传统搜索引擎的局限性，网络爬虫应运而生，在这里，我们向各位读者们推荐几本关于学习Python爬虫的书籍。
分类：
编程语言 时间：
2016-05-18 15:56:22
阅读次数：
731
很多学习Python编程语言的朋友都会学习Python网络爬虫技术，也有专门学习网络爬虫技术的，那么如何学习Python爬虫技术呢，今天就给大家讲讲使用Python抓取数据时非常受欢迎的Python抓取框架scrapy，下面一起学习下Scrapy的架构，便于更好的使用这个工具。
分类：
编程语言 时间：
2016-05-18 15:02:51
阅读次数：
418
lxml是python的一个库，可以迅速、灵活地处理XML。它支持XMLPathLanguage(XPath)和ExtensibleStylesheetLanguageTransformation(XSLT)，并且实现了常见的ElementTreeAPI。这2天测试了一下在python中通过xslt来提取网页内容，记录如下：1.要提取集搜客官网旧版论坛的帖子标题和..
分类：
编程语言 时间：
2016-05-16 20:10:17
阅读次数：
265
网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页，从 网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网...
分类：
其他好文 时间：
2016-05-16 12:58:44
阅读次数：
306
