http://www.sinxin.com.cn/offer/1163953885.html 一个完善的食品安全追溯系统应该至少包含以下四个部分，即标志系统、数据存储系统、数据采集和传递系统、信息查询系统。目前，各国应用了以下技术对农产品进行标志：条形码技术、RFID 技术、DNA 识别技术以及虹膜 ...
分类：
其他好文 时间：
2016-04-21 08:43:24
阅读次数：
221
简介 Elasticsearch是一个分布式的、可伸缩的、实时搜索和分析引擎，简称ES。Elasticsearch、Logstash、Kibana构成ELK stack，从数据采集到数据分析处理以及最后的数据可视化，为很多数据场景提供了稳定的解决方案。 图1：es是什么？ 现今有很多公司采用elas ...
分类：
其他好文 时间：
2016-04-09 10:31:10
阅读次数：
149
本文主要介绍了在Hadoop平台下统计分析Web用户的访问偏好，项目流程如下图所示：
数据采集
项目流程中，提取用户访问页面的URL和URL对应的正文内容，由本人在公司参与一起开发的爬虫系统爬取相应门户网站（新浪）上的数据。爬虫核心代码见我的另一篇文章：httpclient使用详解（爬虫）
爬虫的框架使用的是java多线程开发，由于数据时效性不是很强，所以并没有...
分类：
其他好文 时间：
2016-04-05 17:45:02
阅读次数：
430
随着容器时代到来，公司对devops等概念理解越来越深刻，业务系统架构也在不断向微服务架构调整。业务系统也不断的提供更多的api接口，实现方便灵活的调用。在这种业务背景下，感觉业务系统的监控系统（zabbix、cacti）等，略显笨重，在使用灵活度上感觉也略显欠佳。那么有没有..
分类：
数据库 时间：
2016-04-03 20:31:59
阅读次数：
841
大数据关键技术 大数据环境下数据来源非常丰富且数据类型多样，存储和分析挖掘的数据量庞大，对数据展现的要求较高，并且很看重数据处理的高效性和可用性。 传统数据处理方法的不足 传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处 ...
分类：
其他好文 时间：
2016-03-31 16:54:54
阅读次数：
238
本文将通过案例，整合浏览器工具与PHP程序，教你如何让数据唾手可得。对于做过数据采集的人来说，cURL一定不会陌生。虽然在PHP中有file_get_contents函数可以获取远程链接的数据，但是它的可控制性太差了，对于各种复杂情况的采集情景，file_get_contents显得有点无能为力。因..
分类：
Web程序 时间：
2016-03-31 14:59:53
阅读次数：
213
TraceView 是 Android 平台配备一个很好的性能分析的工具。它可以通过图形化的方式让我们了解我们要跟踪的程序的性能，并且能具体到 method。
TraceView 简介
TraceView 是 Android 平台特有的数据采集和分析工具，它主要用于分析 Android 中应用程序的 hotspot。TraceView 本身只是一个数据分析工具，而数据的采集则需...
分类：
移动开发 时间：
2016-03-31 12:57:19
阅读次数：
194
1、综述 PGM的学习问题实际上是对参数进行推断。对于给定的数据，需要求出系统参数，从而完善系统的CPD。但是某些情况下，PGM的数据集可能是不完整的。数据集不完整可以分为两种情况：1、数据采集受到了影响；2、使用了隐变量。数据采集受到影响可能出于两种情况，第一种是影响与被采集数据是无关的，例如投硬 ...
分类：
其他好文 时间：
2016-03-29 23:47:33
阅读次数：
257
系统的信息模型从存储的内容方面可以分为，STAGE接口信息模型、ODS/DWD信息模型，MID信息模型、DM信息模型、元数据信息模型。 在各个信息模型中存储的内容如下描述： 1) SRC接口层信息模型：提供业务系统数据文件的临时存储，数据稽核，数据质量保证，屏蔽对业务系统的干扰，对于主动数据采集方式 ...
分类：
其他好文 时间：
2016-03-24 10:02:05
阅读次数：
4266
