随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2014-07-10 12:32:08
阅读次数：
237
最近项目中要添加一个功能，用户穿戴着一个可以采集位置和自身身体状况的的设备，将这 些数据展示在地图上。看起来是个不错的想法，可是现在没有这个设备啊（坑爹啊），只能模拟数据。而且有了数据也要将多个人展示在地图上，也需要不同的图 标，初步的想法是以用户的编号来识别。做成像下图一样的（这也是做完的效果）。...
分类：
Web程序 时间：
2014-07-07 13:13:50
阅读次数：
173
前提说明： 在做gstreamer项目的时候某些时候需要主动发送设备中采集的数据到服务端，这样就可以利用tcpclientsink和udpsink插件，主动发送数据到指定的服务器。tcpclientsink 用法说明：如果想主动往服务器发送数据，可以通过tcpclientsink插件进行传输具体的....
分类：
Web程序 时间：
2014-07-01 23:24:33
阅读次数：
1058
获取真实面部软组织三维数据，重建包含头面部具有纹理信息的真实三维数字面部模型。能够客观定量地分析面部外形，可对影响面部外观的临床治疗手段提供必要的参考。采用立体视觉技术重建三维人脸，系统拥有5台高分辨率彩色照相机，按一定要求放置于光照合适的场地。像机标定好后，同时采集5副人脸图像，基于双目视觉成.....
分类：
其他好文 时间：
2014-07-01 16:52:07
阅读次数：
243
最近在做校园图书馆图书信息的采集程序，既然是图书馆图书的采集，肯定有提交搜索的页面，无非是post提交，让我想到了curl模拟提交，首先通过firebug进行抓包查询下post提交后的格式如下：txtWxlx=CN&hidWxlx=spanCNLx&txtPY=HZ&txtTm=%D2%F4%C.....
分类：
Web程序 时间：
2014-06-30 20:57:46
阅读次数：
305
selenium可以操作页面的元素，并且提供执行js脚本的接口。但其调用js脚本后并不能直接返回执行的结果，这样再采集内容的过程中就会受到一些限制。 比如我们想使用页面中的函数进行数据转换，或者获取iframe里的内容，这些js产生数据要传回比较麻烦。所以我便写一个简化js数据回传的扩展 exesc...
分类：
编程语言 时间：
2014-06-30 11:57:55
阅读次数：
192
恰逢2014 Google I/O大会，不难看出安卓在Google的推进以及本身的开放性作用下，已经快延生到生活的各个方面了，从安卓智能手机、平板，到可穿戴的Android ware、眼镜、手表、再到Android汽车、智能家居、电视，甚至最近看新闻，日本出的几款机器人都是Android系统的，再把目光放回监控行业，传统监控中的移动终端设备，例如，单兵设备、手持设备、车载终端设备，包括家庭监控中用...
分类：
移动开发 时间：
2014-06-28 09:12:16
阅读次数：
362
朋友的小说站，现在每天采集的文章会有不少重复的文章。于是提出了去重的需求。这套cms系统的jieqi_article_chapter表的chaptername没有建立索引，第一步我们要建立索引。注意：建立索引有风险，请先做好数据备份。sql如下，使用时自行更换1处的文章id：select disti...
分类：
数据库 时间：
2014-06-27 16:48:59
阅读次数：
209
Description栋栋有一块长方形的地，他在地上种了一种能量植物，这种植物可以采集太阳光的能量。在这些植物采集能量后，栋栋再使用一个能量汇集机器把这些植物采集到的能量汇集到一起。 栋栋的植物种得非常整齐，一共有n列，每列有m棵，植物的横竖间距都一样，因此对于每一棵植物，栋栋可以用一个坐标(x, ...
分类：
其他好文 时间：
2014-06-27 12:49:27
阅读次数：
177
对于诸多行业客户，在平时工作实践中，会产生大量的财务数据、交易数据，以及基于这些数据的计算过程和结果。如何将此类数据的采集、编辑、加工、汇总、整理、存储、产生分析报告，得到有效信息，工作量极大，人工成本昂贵，并且繁琐，存在风险。如果客户的工作报告生成系统为..
分类：
其他好文 时间：
2014-06-26 06:11:22
阅读次数：
239
