参照着网上的爬虫案例(点我),先做了一个demo,基本的爬虫项目创建,以及数据抽取,数据分析,数据保存等等过程基本上有所掌握。
我的需求是需要检索指定的百度贴吧,根据指定的关键字库,搜索出含有关键字的链接,并抽取出来,用于后续告警。 因此,基于需求,分如下步骤:
第一:基于Scrapy创建爬虫项目;...
分类:
编程语言 时间:
2014-04-28 17:37:30
阅读次数:
707
NABC模型:N(需求):通过软件控制汽车安全系统,当汽车主人不在时,通过语音识别,并与主人手机连接,通知车主。A(方法):通过盗车者的说话音色判断,避免了盗车者通过改变音调(故意将声音弄尖,或放低),来混淆判断力。及时反馈给车主,随时监听车内状况。B(好处):克服了传统的机械式防盗的笨重特点和GP...
分类:
其他好文 时间:
2014-04-28 16:40:30
阅读次数:
485
1.
负载均衡概述负载均衡的基本思路是:在一个服务器集群中尽可能的平衡负载量。通常的做法是在服务器前端设置一个负载均衡器(一般是专门的硬件设备)。然后负载均衡器将请求的连接路由到最空闲的可用服务器。下图显示了一个典型的大型网站负载均衡设置,其中一个负载均衡器用于HTTP流量,另一个用于MySQL访问...
分类:
其他好文 时间:
2014-04-28 02:42:43
阅读次数:
648
1.创建数据库:create database database_name;2.选择数据库:use
database_name;3.创建表:create table tablename(column1 data_type1, column2
data_type2,...,columnn dataty...
分类:
数据库 时间:
2014-04-28 02:34:53
阅读次数:
560
DataVeryLite 是基于.net
4.0的数据库持久化ORM框架.目前支持的数据库有Sqlserver,Mysql,Oracle,Db2,PostgreSql,Sqlite和Access.DataVeryLite的配置系统非常简单,稍微有点c#基础的程序猿,半小时都能上手;不仅学习简单,编码...
分类:
其他好文 时间:
2014-04-28 02:29:00
阅读次数:
546
在java中有很多运算符.不同的运算符可以实现不同的功能.不同运算符在计算时的优先级别由高到低:以后只列出我们所常用
的:增量减量——乘除取模——加减字符串连接——比较——相等——与或条件——三目——赋值——扩展赋值;增量运算符:c=++a表示先计算a+1,然后赋值结果给c;c=a++,表示先把a的...
分类:
其他好文 时间:
2014-04-28 02:19:03
阅读次数:
365
为了方便自己测试和监控,写了三个监控的脚本。 分别监控:
主机【cpu,mem,disk,fs,net】 oracle mysql 脚本如下:hmon.py: monitor Linux os system
including cpu,memory,disk,net,file s...
分类:
数据库 时间:
2014-04-28 01:27:52
阅读次数:
765
为什么没有采用多线程或者IO复用,原因是在多线程或IO复用的情况下,当前目录是共享的,无法根据每一个连接来拥有自己的当前目录。多进程模式下,一个连接拥有2个进程,一个是nobody进程,一个是服务进程。为什么使用nobody进程的原因是:在PORT模式下,服务器会主动建立数据通道连接客户端,服务器可...
分类:
其他好文 时间:
2014-04-28 01:00:27
阅读次数:
551
我的MYSQL学习心得(一)使用MYSQL有一段时间了,由于公司使用SQLSERVER和MYSQL,而且服务器数量和数据库数量都比较多管理起来比较吃力,在学习MYSQL期间我一直跟SQLSERVER进行对比第一期主要是学习MYSQL的基本语法,陆续还有第二、第三、第四期,大家敬请期待o(∩_∩)o语...
分类:
数据库 时间:
2014-04-27 21:40:40
阅读次数:
704
left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录right
join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录inner join(等值连接)
只返回两个表中联结字段相等的行举例如下:--------------------------------...
分类:
数据库 时间:
2014-04-27 21:38:38
阅读次数:
764