一: Hive基本概念 1. Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapRe...
分类：
其他好文 时间：
2014-12-23 00:16:50
阅读次数：
224
下面内容摘自互联网并作了整理。名词：BI(Business Intelligence)：商业智能，DW(Data Warehouse)：数据仓库，详见正文Q1部分。OLTP(On-Line Transaction Processing)：联机事务处理也称为面向交易的处理系统，其基本特征是顾客的原始数...
分类：
其他好文 时间：
2014-12-19 21:50:18
阅读次数：
206
只是过来人，说点看法： 基础篇： 1. 读书《Introduction to Data Mining》，这本书很浅显易懂，没有复杂高深的公式，很合适入门的人。另外可以用这本书做参考《Data Mining : Concepts and Techniques》。第二本比较厚，也多了一些数据仓库方面的知...
分类：
其他好文 时间：
2014-12-19 00:33:49
阅读次数：
264
背景线上有很多的数据库在运行，后台需要一个分析用户行为的数据仓库。目前比较流行的是mysql和hadoop平台。现在的问题是，如何将线上的mysql数据实时的同步到hadoop中，以供分析。这篇文章就是利用tungsten-replicator来实现。环境由于tungsten-replicator依...
分类：
数据库 时间：
2014-12-18 21:56:29
阅读次数：
714
Hermes与开源的Solr、ElasticSearch的不同
谈到Hermes的索引技术，相信很多同学都会想到Solr、ElasticSearch。Solr、ElasticSearch在真可谓是大名鼎鼎，是两个顶级项目，最近有些同学经常问我，“开源世界有Solr、ElasticSearch为什么还要使用Hermes?”
在回答这个问题之前，大家可以...
分类：
其他好文 时间：
2014-12-18 17:01:28
阅读次数：
159
Oracle索引原理
Oracle提供了大量索引选项。知道在给定条件下使用哪个选项对于一个应用程序的性能来说非常重要。一个错误的选择可能会引发死锁，并导致数据库性能急剧下降或进程终止。而如果做出正确的选择，则可以合理使用资源，使那些已经运行了几个小时甚至几天的进程在几分钟得以完成，这样会使您立刻成为一位英雄。这篇文章就将简单的讨论每个索引选项。主要有以下内容：
[1] 基本的索引概念
查...
分类：
数据库 时间：
2014-12-17 18:30:32
阅读次数：
323
周日在北大理教听了余凯和漆远关于深度学习的讲座，这个讲座是北大机器学习研究会办的，不是学术性质，是有点科普性质的一个对话，雷鸣做现场主持。 刚开始余凯说了一下什么是大数据，他提到除了数据源、数据仓库，还有分层的概念，是分层学习的意思吗？存疑；漆远提到一本大数据的入门书，introduction...
分类：
其他好文 时间：
2014-12-15 13:27:07
阅读次数：
159
在数据处理及数据仓库建设中，元数据管理是必不可少的，OEMM可以解决元数据管理过程中各种关键业务问题和技术挑战，其中包括如何元数据的统计信息，了解变更数据之后对下游的影响范围，而且OEMM站在业务的角度在浏览器中进行展现，并且可以在报表中展现企业内完整的元数据信息，用于分析和改进元数据管理。OEMM...
分类：
数据库 时间：
2014-12-11 13:42:17
阅读次数：
215
问题1：空间数据挖掘有哪些常用方法，举例说明一种方法的原理及应用.
答：空间数据挖掘的常用方法有：统计法，聚类方法，关联规则发掘方法，Rough集方法，神经网络方法，云理论，证据理论，模糊集理论，遗传算法等算法（出自丁信宙，仇环，苏晓庆. 基于云理论的缺损数据推理和预测 山东理工大学学报 2006年11月）。除此以外还有老师课件上提到的聚类检测，决策树方法等。
以下对于一...
分类：
其他好文 时间：
2014-12-11 00:24:07
阅读次数：
265
数据仓库元数据管理OLAP的基本特征维（Dimension）和立方（Cube）数据立方体与OLAP数据仓库的多维数据模型数据仓库的基本架构数据仓库的源数据类型数据仓库的价值出处：http://webdataanalysis.net/category/web-data-warehouse/
分类：
其他好文 时间：
2014-12-10 17:43:05
阅读次数：
119
