客户画像专题设计 1、原始需求 1.1、原始需求描述 1.2、验证场景 2、需求分析 2.1、功能性需求 2.1.1、定义实体的元数据规格 2.1.2、定义实体的数据抽取规则 2.1.3、支持实体画像查询 2.1.4、支持实体关系图谱查询 2.1.5、支持打标签 2.1.6、支持新的实体注册 2.1 ...
分类：
其他好文 时间：
2017-04-07 18:10:54
阅读次数：
283
今天我们通过一则真实的案例来认识oracle 自带工具AMDU，无需将磁盘组mount即可实现数据分析，轻松进行数据恢复。某日，我们收到了一则香港用户ASM破坏案例，请求数据恢复。灾难描述：这则案例是由于存储误操作引起的：1.用户进行存储维护和磁盘添加操作2.维护后发现CRS无法启动3.检查发现OC... ...
分类：
其他好文 时间：
2017-04-03 13:23:01
阅读次数：
223
一 关于Kettle Kettle是一款国外开源的ETL工具，纯java编写，数据抽取高效稳定的数据迁移工具。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流程的控制。 二 本项目中的ETL需求 本项目主要 ...
分类：
其他好文 时间：
2017-03-30 19:02:33
阅读次数：
283
1、功能概述： 基于结构化数据（如：销售明细数据）、非结构化数据（物品描述）的标签建模和服务化提供。 2、具体做法： a、通过对多源的明细数据进行标签建模 根据需要，对已有的多源数据分类为实体（卖家、买家、商品）和实体关系（商品销售交易） b、使用maxcompute抽取标签数据到olap库（any ...
分类：
其他好文 时间：
2017-03-28 10:50:47
阅读次数：
203
最近碰到一个测试需求，使用到了在线分析处理（OLAP），现总结记录一下，也希望能帮到有相关问题的朋友。 1. 测试环境是DB2，通过ETL（数据抽取，数据转换，数据加载）技术将数据源数据加载到目标数据仓库。 2. 需求大概意思：验证能否将包含制定商品编码的订单从数据源加载到目标数据库。 3. 目标数 ...
分类：
数据库 时间：
2017-03-18 23:04:26
阅读次数：
382
1、准备 1.1 建立目标数据库UserA：注意sex的默认值是“男”； 1.2 构建源数据库User：且插入一个NULL值！ 1.3 源数据库中真实数据 2、通过SSIS进行数据抽取 2.1 源编辑器设置：使用数据访问方式为：表或视图 2.2 目标编辑器设置： 2.2.1 使用数据访问模式：表或视 ...
分类：
其他好文 时间：
2017-02-12 19:01:51
阅读次数：
1090
一、ETL测试的重要性： ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步 ...
分类：
其他好文 时间：
2017-02-09 17:39:14
阅读次数：
150
Kettle 官网 ETL利器Kettle实战应用解析系列 利用kettle组件导入excel文件到数据库 kettle中实现动态SQL查询 java中调用kettle转换文件 ...
分类：
其他好文 时间：
2017-01-10 19:35:08
阅读次数：
143
我们的系统中新开发了一个数据抽取的功能，东西做完后，一看执行时间那叫一个恼火。参考同类系统同样功能的执行时间，目标：将本地数据处理时间压缩到5秒以内。 第一步： 要想知道哪个地方需要优化，仅凭感觉还是不够，我使用btrace寻找速度慢点原因。下面贴出这次使用的btrace代码： 本段代码会匹配 co ...
分类：
编程语言 时间：
2017-01-05 18:37:30
阅读次数：
291
12.301.DTO数据传输对象（DTO)(Data Transfer Object)2.ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我 ...
分类：
其他好文 时间：
2017-01-03 18:47:11
阅读次数：
197
