参照着网上的爬虫案例(点我),先做了一个demo,基本的爬虫项目创建,以及数据抽取,数据分析,数据保存等等过程基本上有所掌握。
我的需求是需要检索指定的百度贴吧,根据指定的关键字库,搜索出含有关键字的链接,并抽取出来,用于后续告警。 因此,基于需求,分如下步骤:
第一:基于Scrapy创建爬虫项目;...
分类:
编程语言 时间:
2014-04-28 17:37:30
阅读次数:
707
在这里,我对于项目提出功能导航系统。即为每个导航地点分组,按功能属性统计并罗列在一起,在导航页面提供目的性查询,让客户通过勾选想要进行的活动来提供目的地和导航路线。并将各地点在功能搜索页面罗列出来并给出具体坐标。如:餐饮,上课,运动,购物,出行,标志建筑,专业分属等Need:需求方面,直接从导航的....
分类:
其他好文 时间:
2014-04-28 16:58:15
阅读次数:
595
NABC模型:N(需求):通过软件控制汽车安全系统,当汽车主人不在时,通过语音识别,并与主人手机连接,通知车主。A(方法):通过盗车者的说话音色判断,避免了盗车者通过改变音调(故意将声音弄尖,或放低),来混淆判断力。及时反馈给车主,随时监听车内状况。B(好处):克服了传统的机械式防盗的笨重特点和GP...
分类:
其他好文 时间:
2014-04-28 16:40:30
阅读次数:
485
PHP里做一般的获取内容时,用自带的file_get_contents()函数基本就足够了。当然,这个函数只能抓一些简单的数据,如果是遇到需要登录的页面,就不行了,而且效率及稳定性也不是很强。所以要是有特殊需求的话,还是用curl吧。不仅仅速度快,而且非常稳定,基本上用curl抓取失败的几率很小。而...
分类:
Web程序 时间:
2014-04-28 16:28:42
阅读次数:
763
今天我完成并发表了需求报告并了解工作进度、任务跟踪、会议记录和发表博客;明天我准备继续了解工作进度、任务跟踪、会议记录和发表博客。
分类:
其他好文 时间:
2014-04-28 15:17:20
阅读次数:
377
大多数的web开发者都会遇到设计用户账号系统的需求。账号系统最重要的一个方面就是如何保护用户的密码。一些大公司的用户数据库泄露事件也时有发生,所以我们必须采取一些措施来保护用户的密码,即使网站被攻破的情况下也不会造成较大的危害。如果你还在存储用户密码的MD5,那可真的有点弱了。赶紧来看看这篇文章吧。...
分类:
其他好文 时间:
2014-04-28 05:34:25
阅读次数:
561
Android项目需求,要对一个ListView进行多字段模糊过滤,系统自带的ArrayAdapter是有过滤功能,但是项目使用的是BaseAdapter适配器,
List做数据源, 如果要实现过滤的话,就要遍历原始的List后重新生成新的List,至少需要两个List,所以就想在不重新生成Li.....
分类:
编程语言 时间:
2014-04-28 03:55:40
阅读次数:
552
集合和数组比较像,也是一种,容器但是有很大区别
数组的长度在初始化时时定下来的,不可变了,那么以后如果项目需求改变,原本需要10个学生信息,现在要20个,那怎么办? 所以就引出了集合
集合的最根上的接口是collection,其子接口有list和set。 集合和数组差不多,但是你可以...
分类:
其他好文 时间:
2014-04-28 02:52:29
阅读次数:
450
项目驱动 需求分析-系统设计-编码-测试-维护期GUI Swing程序的建立步骤
1.建立容器-可以容纳其他图形对象的类,容器中还可以添加容器 2.建立组件-组件就是一套图形对象
3.将组件放到容器当中-将创建好的对象添加到容器中,才能在窗口中显示 4.设置布局JFrame:带有标题和边框的顶级窗口...
分类:
编程语言 时间:
2014-04-27 21:31:35
阅读次数:
693
继续上篇博客 七、Hibernate双向一对多关联映射:让多的一端来维护关系。
主要是解决一对多单向关联的缺陷,而不是需求驱动的。 1、在Student.java实体类里添加Classes引用。private Classes
classes; 2、Student.hbm.xml里添加...
分类:
系统相关 时间:
2014-04-27 21:21:42
阅读次数:
1098