下面是一些关于大数据挖掘的知识点，今天和大家一起来学习一下。数据、信息和知识是广义数据表现的不同形式。主要知识模式类型有：广义知识，关联知识，类知识，预测型知识，特异型知识web挖掘研究的主要流派有：Web结构挖掘、Web使用挖掘、Web内容挖掘一般地说，KDD是一个多步骤的处理过程，一般分为问题定义、数据抽取、数据预处理、.数据挖掘以及模式评估等基本阶段。数据库中的知识发现处理过程模型有：阶梯处
分类：
其他好文 时间：
2018-11-07 21:39:19
阅读次数：
159
关于SqlServer数据库C盘占用空间太大问题 工程需要用上了SQL SERVER2008 ，主要作为数据仓库使用，使用SSIS包从ORACEL10G中抽取数据到MS SQL中。环境是win2003x64的，驱动使用的oracle10gX64。使用半年后发现服务器C盘还剩不到1G（总大小50G，软 ...
分类：
数据库 时间：
2018-10-25 12:12:48
阅读次数：
273
前一阵用shell写了一个从数据库中抽取数据生成.xml文件的脚本，要求是每个文件中只生成1000条数据。于是用到了while read line 作为循环。 在制作文件计数器的时候发现了一个问题，在执行的过程中文件计数器(FILENUM)总是出现返回初始值的现象，具体简化的脚本如下: 基本流程如上 ...
分类：
其他好文 时间：
2018-10-24 15:29:21
阅读次数：
205
下载apache-phoenix-4.14.0-HBase-1.4-bin.tar.gz 将其中的 phoenix-4.14.0-HBase-1.4-client.jar phoenix-core-4.14.0-HBase-1.4.jar 2个jar文件导入到lib目录下，不要使用hbase1.2的 ...
分类：
数据库 时间：
2018-10-15 11:55:10
阅读次数：
556
ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。 ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设 ...
分类：
其他好文 时间：
2018-09-18 11:16:37
阅读次数：
201
业务模式是对业务规则和流程的常见相似性、以及特定业务的数据处理能力的提炼，是业务应用系统中的常见套路。掌握这些套路，有助于更快更好地设计与实现业务。 ...
分类：
其他好文 时间：
2018-08-19 20:55:36
阅读次数：
208
数据源为oracle，字段类型为number。 发现通过mainline连接到一个logrow控件，输入的该字段的值为0 经过多次测试还是没发现有什么规律。 通过查看代码发现有这一句内容。 if (row2.ID != null) { //strBuffer_tLogRow_1.append(row ...
分类：
数据库 时间：
2018-07-31 19:22:16
阅读次数：
154
一、Informatica介绍Informatica PowerCenter 是Informatica公司开发的世界级的企业数据集成平台，也是业界领先的ETL工具。Informatica PowerCenter使用户能够方便地从异构的已有系统和数据源中抽取数据，用来建立、部署、管理企业的数据仓库，从 ...
分类：
其他好文 时间：
2018-07-08 15:39:53
阅读次数：
289
需求：关于第三方数据库的数据抽取，数据每2个小时会有增量数据。 要求：每天凌晨12:05对T-1日数据进行统一处理。 于是利用1周时间开发了个小工具，主要对接第三方oracle，pg，mysql数据库的数据。 采用技术： 1.多线程，线程池 2.jdbc，连接池 3.数据库分页 遇到问题 1.Jav ...
分类：
数据库 时间：
2018-06-09 18:54:02
阅读次数：
202
背景介绍：今天接到老板分配的一个小任务：开发一个程序，实现从数据库中抽取数据并生成报表的功能（这是我们数据库审计平台即将上线的一个功能）。既然是要生成报表，那么首先得有数据，于是便想到从该业务的测试环境抽取业务表的数据，然后装载至自己云主机上的Mysql中。本来以为只要"select...intooutfile"和"loaddatainfile..."两个命
分类：
其他好文 时间：
2018-05-10 21:50:27
阅读次数：
214
