码迷,mamicode.com
首页 >  
搜索关键字:数据采集    ( 1158个结果
爬虫工具开发进度
最初是想端午节放假3天写一个爬虫,原型版本完成后。。发现自己想要的其实是数据采集工具。目前进度如下已完成:1.简易WPF界面,Log显示,开关暂停2.硬盘结果写入,xml配置文件读写。3.html分析,用的indexof分析全文。但稳定抓了一星期百度贴吧,中途没崩过。未完成:1.xml文件图形化编辑...
分类:其他好文   时间:2014-06-08 22:07:41    阅读次数:261
Kinect驱动的人脸实时动画
最近几年,realtime的人脸动画开始风声水起,不少图形图像的研究者开始在这个领域不断的在顶级会议siggraph和期刊tog上面发文章。 随着kinect等廉价的三维数据采集设备的运用,以及其功能强大的人脸识别和动作识别的功能,极大的推动了人脸数据驱动电脑中3D模型 的表情表演和动作表演的可能。 下面是几个大牛的主页,其中有不少关于这方面的研究: 主要发起者: li hao 在epf...
分类:其他好文   时间:2014-06-08 15:46:44    阅读次数:312
工业控制系统安全
工业控制系统安全摘要:随着“两化”融合的推进和以太网技术在工业控制系统中的大量应用,进而引发的病毒和木马对SCADA系统的攻击事件频发,直接影响公共基础设施的安全,其造成的损失可能非常巨大,甚至不可估量。2010年10月发生在伊朗核电站的“震网”(Stuxnet)病毒,为工业..
分类:其他好文   时间:2014-06-01 13:17:30    阅读次数:4775
日志系统数据采集客户端的实现--并发编程容器选型
一个集中的日志系统,第三方应用每次写日志,都需要发送一个远程的rpc或者http请求,造成写日志的延时比较大。改进的做法是:提供一个写日志调用包,第三方应用写日志时,先把日志缓存到一个线程安全的容器里,然后后台线程实时消费容器内的日志,如果有持久化的需求,就可以实时的把日志flush到文件中,然后再...
分类:其他好文   时间:2014-05-31 13:13:20    阅读次数:290
汽车辐射监测系统-Qt开发[转]发
功能介绍:利用在路边的两个探测器,探测汽车的辐射剂量,通过电子板进行数据采集,并串口传输到计算机,实时显示。可以保存采集数据,进行独立显示。开发环境:VS2008,Qt4.7, QWT 6.0.1,qextserialport 1.2.1 测试环境:软件主界面:源代码下载:压缩包1,压缩包2软...
分类:其他好文   时间:2014-05-30 00:22:01    阅读次数:313
php curl批处理
php模拟多线程用到curl库,这个库很强大,可以做好多事,比如模拟登陆,文件上传/下载,数据采集等。 下面是我的代码,很简单,有些还功能还不会用。 0);$res=array();for($j=0;$j 这段代码就是并行爬取百度和谷歌的代码,以后再慢慢完善。 ...
分类:Web程序   时间:2014-05-27 02:50:52    阅读次数:282
[转载]win32 计时器使用
在工业生产控制系统中,有许多需要定时完成的操作,如定时显示当前时间,定时刷新屏幕上的进度条,上位机定时向下位机发送命令和传送数据等。特别是在对控制性能要求较高的实时控制系统和数据采集系统中,就更需要精确定时操作。 众所周知,Windows 是基于消息机制的系统,任何事件的执行都是通过发送和接收消息....
分类:Windows程序   时间:2014-05-25 18:40:18    阅读次数:411
【搜索引擎基础知识1】搜索引擎基本架构
(一)搜索引擎的开发一般可分为以下三大部分 1、数据采集层:一般使用爬虫获取互联网的数据,重要的开源项目有Heritrxi 2、数据分析处理层:将从互联网上获取到的数据进行提取归类、分词、语义分析得出索引得内容,等待用户查询使用,重要的开源项目有Lucene 3、视图层:也用户的交互界面,如一个网站的首页 其基本架构可参考下图:...
分类:其他好文   时间:2014-05-24 22:20:16    阅读次数:349
日均百万PV架构第四弹(分布式监控)
应该能更早出的第四弹,被虚拟机错误搅乱,迟迟没有上线,不得已将所有节点用puppet完成上线,稍后整理第五弹(非你不可自动化)也即将上线:)zabbix简介zabbix是基于Php的开源监控软件基于多重数据采集SNMP,Agent,Ping,Port多重告警通知Mail,Jabber,SMS可以完成多种操作平台甚至于设..
分类:其他好文   时间:2014-05-20 21:21:38    阅读次数:607
【转】十分有用的linux shell学习总结
在最近的日常工作中由于经常会和Linux服务器打交道,如Oracle性能优化、我们 数据采集服务器的资源利用率监控,以及Debug服务器代码并解决其效率和稳定性等问题。因此这段时间总结的有关Linux Shell的系列博客就给予了我极大的帮助,然而在实际的使用中却发现,有的时候确实忘记了某个...
分类:系统相关   时间:2014-05-19 13:16:00    阅读次数:278
1158条   上一页 1 ... 113 114 115 116 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!