上一节我们通过爬虫工具爬取了近七万条二手房数据，那么这一节就对这些数据进行预处理，也就是所谓的ETL(Extract-Transform-Load) 一.ETL工具的必要性 数据分析的前提是数据清洗。不论如何高大上的算法，遇到错误数据，一个异常抛出来，绝对尸横遍野。而你不能指望核心算法为你处理错.....
分类：
其他好文 时间：
2014-09-01 22:32:33
阅读次数：
347
新版本修改内容主要包括有：
1加入了历史飞行数据分析功能，可以查看历史飞行数据飞行的航迹信息、速度曲线、高度变化曲线及详细数据项内容；
软件效果如下：...
分类：
其他好文 时间：
2014-09-01 17:45:03
阅读次数：
216
越来越多的研究发现，美国人在社交媒体网站上分享的他们的健康状况、生活方式的信息远比他们提供给医生、雇主、保险公司和政府机构的更加准确、及时。
换而言之，我们更易对朋友敞开心扉，而不是那些能够决定我们是否享有医疗服务的人。
虽然这只是反应了人性的一隅，却为患者和医疗服务提供者借助大数据分析来提高诊断和治疗给予了启发。研究结果表明，通过获得大量的、准确的患者数据可以改善医疗服务质量。...
分类：
其他好文 时间：
2014-09-01 15:36:23
阅读次数：
363
前言: 日志在开发和服务中扮演重要的角色, 有人用来追查/分析问题, 有人通过日志, 来记录重要的信息. 日志是数据分析和统计最重要的数据来源. 在Java领域, Log4j日志框架成为java开发人员的首选. 本文对Log4j作个总结, 权当作自己对log4j的一个学习笔记. 基本样例: ...
分类：
其他好文 时间：
2014-09-01 13:50:43
阅读次数：
299
基于数据挖掘技术的智能化数据分析系统设计与开发潍坊物价信息数据分析及展现背景： 商品价格和人们生活息息相关，比如农产品价格波动不仅会对农民收入和农民生产积极性产生直接影响，更关乎百姓的日常生活和切身利益。经常看新闻看到农民辛苦了一个季度的农作物全都烂在地里，因为价格太低廉，或者没有销路。虽然说物价波...
分类：
其他好文 时间：
2014-08-31 22:43:21
阅读次数：
287
WebSphere® Application Server Performance Tuning Toolkit 是一款基于 Eclipse 的智能工具，旨在帮助用户通过使用数据收集、数据分析和统计数据推断技术来调优 WebSphere Application Server 的性能。其目的是帮助用户查找瓶颈，并适当调优应用程序。...
分类：
移动开发 时间：
2014-08-30 23:09:12
阅读次数：
459
这个话题很大，牵扯很多，试着回答一下，算是胡扯了。三类业务的关系，都是IT外包，至于外包的内容很杂。DC的外包，多半是基建和建维，一般不牵扯到软件开发，网站建设类的。金融IT外包就复杂多了，信息系统的建设，维护。软件开发，网站的运营。以及数据分析等等。医疗信息化和金融的差不多。三类的外包重合的地方，...
分类：
其他好文 时间：
2014-08-30 15:01:59
阅读次数：
178
最近收获：
如果一个公司有针对简单数据的基于关键字（key）的存储和检索的需求，他们可以选择来自系统领域的key-value存储系统。作为选择，他们也可以采用依靠应用程序级的“分片”，通过人工的（哈希）分割他们的数据仓库，通过多个开源的Mysql或者PostGres数据库实例来检索他们的数据。...
分类：
其他好文 时间：
2014-08-29 18:17:58
阅读次数：
219
围绕大数据的激烈争论主要围绕在它是否如预期的一样好抑或它是否最终只是归于落寞。自2011年8月开始的被大肆宣传的谷歌流感趋势(GFT),加剧了这种担忧。在我看来，毫无疑问，数据分析有朝一日会对医疗保健、犯罪的监测、设计更完善的产品、改善交通模式以及农业产量起到有效的作用。但我的忧虑在于，在未来的某天，我们如何使用我们所收集到的所有数据——去揭示真相呢？设想一下DNA技术是如何帮助被错误关押了数十年...
分类：
其他好文 时间：
2014-08-29 14:44:38
阅读次数：
201
最近开始折腾数据，起源是多业务数据源需要转换到数据分析平台。这个过程需要跨机器，跨库。同时还需要将业务数据表的内容进行转换，合并，清洗等等操作。经过多方选型，最终决定使用kettle来作为数据抽取处理的工具。但是，在这里，是想吐槽下kettle这东西的问题。1.kettle的版本使用的是5.1，搭建...
分类：
其他好文 时间：
2014-08-28 17:47:45
阅读次数：
308
