1. 数据预处理阶段，判定冗余数据用到的相关性分析、协方差分析（统计分析）：2. 关联规则中的支持度、置信度、相关性分析（概率分析）：
分类：
其他好文 时间：
2015-05-01 22:34:03
阅读次数：
184
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html网站日志分析项目案例（三）统计分析：...
分类：
Web程序 时间：
2015-04-29 07:05:09
阅读次数：
195
基本的R包已经实现了传统多元统计的很多功能，然而CRNA的许多其它包提供了更深入的多元统计方法，下面要综述的包主要分为以下几个部分：1） 多元数据可视化（Visualising multivariate data）：绘图方法：基本画图函数（如：pairs()、coplot()）和lattice包里的...
分类：
其他好文 时间：
2015-04-28 11:21:01
阅读次数：
291
什么是数据分析？
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总、理解并消化，以求最大化地开发数据的功能，发挥数据的作用。
数据分析的目的是把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出研究对象的内在规律。在实际 工作当中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。
数据分析师指的是不同行业中，专门从事行业数据搜集...
分类：
其他好文 时间：
2015-04-27 18:31:10
阅读次数：
302
Strom的结构 Storm与传统关系型数据库 ??? 传统关系型数据库是先存后计算，而storm则是先算后存，甚至不存 ??? 传统关系型数据库很难部署实时计算，只能部署定时任务统计分析窗口数据 ??? 关系型数据库重...
分类：
其他好文 时间：
2015-04-27 00:49:40
阅读次数：
171
前面我分别介绍了两种Hive将分析结果导入到MySQL表的两种方式：Sqoop导入方式和使用Hive、MySQL JDBC驱动，现在我介绍第三种，也是使用比较多的方式——使用Hive
自定义函数（UDF或GenericUDF）将每条记录插入到数据库表中。
一、使用UDF方式
使用UDF方式实现比较简单，只要继承UDF类，并重写evaluate方法即可
1、编...
分类：
数据库 时间：
2015-04-24 09:10:37
阅读次数：
591
最近在做一个交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果保存在一张Hive表中，最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下：
下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这...
分类：
数据库 时间：
2015-04-22 11:47:45
阅读次数：
287
7.3相关相关系数可以用来描述定量变量之间的关系。相关系数的符号（±）表明关系的方向（正相关或负相关），其值的大小表示关系的强弱程度（完全不相关时为0，完全相关时为1）。除了基础安装以外，我们还将使用psych和ggm包。7.3.1 相关的类型1.Pearson、Spearman和Kendall相关...
分类：
其他好文 时间：
2015-04-22 00:11:49
阅读次数：
231
--对已存在的表 执行如下 ，要经过统计分析后 num_rows=0 才准确select 'alter table '||table_name||' allocate extent;' from user_tables where num_rows=0Oracle11g默认对空表不分配segmen....
分类：
数据库 时间：
2015-04-21 20:01:13
阅读次数：
204
7.2 频数表和列联表> library(vcd)> head(Arthritis)ID Treatment Sex Age Improved1 57 Treated Male 27 Some2 46 Treated Male 29 None3 77 Treated Male 30 None4 17...
分类：
其他好文 时间：
2015-04-20 23:59:51
阅读次数：
395
