参照着网上的爬虫案例(点我),先做了一个demo,基本的爬虫项目创建,以及数据抽取,数据分析,数据保存等等过程基本上有所掌握。
我的需求是需要检索指定的百度贴吧,根据指定的关键字库,搜索出含有关键字的链接,并抽取出来,用于后续告警。 因此,基于需求,分如下步骤:
第一:基于Scrapy创建爬虫项目;...
分类:
编程语言 时间:
2014-04-28 17:37:30
阅读次数:
707
想写个自动定会议室的程序。1、会议系统登录后,存在session,提交会议室的订单通过httpwatch拼接后获得链接地址,直接访问链接及可以了2、如果没有提前登录,就无法提交链接了。使用python+PAMIE实现了了自动登录的过程(登录的链接一直拼接不出来。。)下面说说这个研究过程。。1、一开始...
分类:
编程语言 时间:
2014-04-28 16:04:47
阅读次数:
848
这个天气预报采集是从中国天气网提取广东省内主要城市的天气并回显。本来是打算采集腾讯天气的,但是貌似它的数据是用js写上去还是什么的,得到的html文本中不包含数据,所以就算了爬虫简单说来包括两个步骤:获得网页文本、过滤得到数据。
1、获得html文本。 python在获取html方面十分方便,寥.....
分类:
编程语言 时间:
2014-04-28 15:31:09
阅读次数:
712
sudo apt-get install
python-software-propertiessudo apt-add-repository ppa:brightbox/ruby-ngsudo
apt-get updatesudo apt-get install ruby2.1ruby2.1 -vr...
分类:
其他好文 时间:
2014-04-28 14:18:29
阅读次数:
445
http://www.jeasyuicn.com/css-background-image-stretching.htmlbackground-image:url(bg.png);
-moz-background-size: 100% 100%; -o-background-size: 100% 1...
分类:
Web程序 时间:
2014-04-28 13:42:47
阅读次数:
615
ASP.NET
MVC的请求URL不再对应于传统ASP.NET程序的ASPX文件物理地址,而是把请求映射到一个控制器(Controller)类的方法(Action)上,Controller、Action再加上参数构成ASP.Net
MVC请求的Url。下面我们来看下路由系统的主要对象。UrlRout...
分类:
Web程序 时间:
2014-04-28 12:28:06
阅读次数:
597
curl是一个利用URL语法在命令行方式下工作的文件传输工具。官方解释curl是一个利用URL语法在命令行方式下工作的文件传输工具。curl是一个利用URL语法在命令行方式下工作的文件传输工具。它支持很多协议:FTP,
FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT,...
分类:
Web程序 时间:
2014-04-28 11:38:18
阅读次数:
597
IOS 通过ip地址获取当前城市的编号 //解析网址通过ip 获取城市天气代码 NSURL *url
= [NSURL URLWithString:@"http://61.4.185.48:81/g/"]; // 定义一个NSError对象,用于捕获错误信息
NSError *error; NSS....
分类:
移动开发 时间:
2014-04-28 02:36:49
阅读次数:
832
C语言或C++中,数组元素全为指针的数组称为指针数组一维指针数组的定义为:类型名*数组标识符[数组长度]eg:
int*ptr_array[10];以下内容来自百度百科链接http://baike.baidu.com/link?url=r6JRJbaleIw_69o-t8uO2vTF0r4oukf1...
分类:
编程语言 时间:
2014-04-28 01:02:26
阅读次数:
667
1 。 介绍1.1 要求1.2 网应用情节1.3 SQL 射入技术1.4 特点1.5
下载和更新sqlmap1.6 执照2 。 用法2.1 帮助2.2 目标URL2.3 目标URL 和verbosity2.4 URL 参量2.5 Google
dork2.6 HTTP 方法: 得到或张贴2.7 张贴...
分类:
数据库 时间:
2014-04-27 21:29:29
阅读次数:
928