UNISCAN是老外写的一款基于Perl编写的web漏洞扫描器，目前版本为6.2。UNISCAN特点：通过爬虫识别网站页面多线程可控制线程的最大数量可控制爬虫爬取的页面可忽略指定文件扩展名可设置GET、POST方式支持SSL支持代理支持google搜索的站点列表支持bing搜索的站点列表支持扩展插件..
分类：
Web程序 时间：
2014-11-10 01:19:16
阅读次数：
198
前不久在做一个安卓项目的时候，其中有个功能是爬取某网站上的新闻信息，用ListView展示，虽然做了分页，但还是觉得达不到理想流畅效果。上网查阅了下资料，发现一些挺不错的总结，这里小小借用下，便于复习。当ListView有大量的数据需要加载的时候，会占据大量内存，影响性能。经过测试，发现耗费大量资源...
分类：
移动开发 时间：
2014-11-09 15:08:11
阅读次数：
247
明后两天周六日，按照TFS的日常安排应该是休息，所以让他们自由完成已经分配的任务。姓名今日任务黄新越提取爬取网页的关键字并输出到接口刘垚鹏程序总架构的修改与多线程的学习王骜多线程学习安康学习UI设计林旭鹏学习UI设计马佐霖爬虫程序现有BUG的测试黄伟龙爬虫程序现有BUG的测试李桐爬虫程序现有BUG的...
分类：
其他好文 时间：
2014-11-07 22:03:58
阅读次数：
208
任务分配如下：姓名今日任务明日任务黄新越学习UI设计提取爬取网页的关键字并输出到接口刘垚鹏注释的总结与上传、多线程学习程序总架构的修改与多线程的学习王骜对总体开发日程的规划与多线程学习多线程学习安康学习UI设计学习UI设计林旭鹏学习UI设计学习UI设计马佐霖 爬虫程序如何完善的思考与测试爬虫程序现....
分类：
其他好文 时间：
2014-11-06 21:24:55
阅读次数：
174
由于最近要实现一个爬取H5游戏的代理服务器，隧看到这么一篇不错的文章（http://blog.miguelgrinberg.com/post/easy-web-scraping-with-nodejs），加之最近在学习Node.js，所以就准备翻译出来加深一下印象。 转载请注明来源：（www.cnb...
分类：
Web程序 时间：
2014-11-06 17:20:06
阅读次数：
419
用WebCollector爬取网站的图片。
我们爬取一个美食网站，获取里面所有的图片。...
分类：
Web程序 时间：
2014-11-06 00:48:25
阅读次数：
303
用Python爬取色情网站的图片，技术宅的小玩具。在这里我将会向你详细介绍用Python下载一个色情网站图片的全部步骤，你会从中看到Python的简洁以及技术宅的无聊。
首先你应该应该有一个色情网站的网址，当然我不会给你的，自己找！！！我会告诉你其中的规律：
http://www.*****.com/htm/piclist【1】/【2】.htm一个色情网站的图片区中，URL不同的只有【1】...
分类：
编程语言 时间：
2014-11-05 21:30:35
阅读次数：
389
因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网站都有自己的搜索引擎，大大小小叫得出来名字得就几十种，还有各种不知名的几千几万种，对于一个内容型驱动的网站来说，受到网络爬虫的光顾是不可避免的。一些智能的搜索引擎爬虫的爬取...
分类：
Web程序 时间：
2014-11-05 18:54:11
阅读次数：
213
1.Scrapy是什么？2.如何安装Scrapy?2.如何构建一个简单的spider？3.如何解析HTML？4.如何写入数据库？关于ScrapyScrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。安装Scrapy1.需要安装Python..
分类：
微信 时间：
2014-11-03 01:35:14
阅读次数：
1195
最近在学python，之前用Python写过简单的图片爬取，今天想着用python爬一下豆瓣的电影，就有了下面的程序：
#coding:utf-8
import re
import sys
import urllib
from bs4 import BeautifulSoup
def movieSearch():
douBanSearchurl = "http://movie.douban.c...
分类：
其他好文 时间：
2014-10-29 00:26:07
阅读次数：
254
