Sqoop 在hadoop和关系型数据库之间转换数据 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，通过Flume将日志写入到Hadoop的HDFS中 Canal 数据抽取是 ETL 流程的第一步。我们会将数据从 RDB ...
分类：
其他好文 时间：
2020-09-17 18:33:30
阅读次数：
37
自助式BI或者自助式数据分析是最近几年兴起的一个概念。根据Gartner发布的信息，SelfServiceBusinessIntelligence(SSBI)被定义为“终端用户在被批准和支持的平台或工具组合中设计和部署自己的报告和分析。很多业内人士都表示未来的BI或者数据分析的趋势就是要实现去中心化。以前有三类人需要牵涉到整个BI系统的环境或者是业务的搭建过程中（ETL,数据分析及可视化，业务人员
分类：
其他好文 时间：
2020-09-16 12:39:05
阅读次数：
37
题目描述 以 Unix 风格给出一个文件的绝对路径，你需要简化它。或者换句话说，将其转换为规范路径。 在 Unix 风格的文件系统中，一个点（.）表示当前目录本身；此外，两个点 （..） 表示将目录切换到上一级（指向父目录）；两者都可以是复杂相对路径的组成部分。 请注意，返回的规范路径必须始终以斜杠 ...
分类：
其他好文 时间：
2020-09-14 18:50:35
阅读次数：
35
#需求 编写全流程接口测试用例时，有时候需要进行一些数据操作，用于校验系统落地数据的准确性。 #实现 ##1.编写构造函数和成员变量 private JdbcTemplate jdbcTemplate; public DBFixture(String info,String account) { l ...
分类：
数据库 时间：
2020-08-19 19:40:12
阅读次数：
86
1、EntityWrapper_Condition简介 Mybatis-Plus 通过 EntityWrapper（MP 封装的一个查询条件构造器）或者 Condition（继承Wrapper） 来让用户自由的构建查询条件，简单便捷，没有额外的负担， 能够有效提高开发效率 2、selectPage方 ...
分类：
移动开发 时间：
2020-08-18 13:34:04
阅读次数：
168
1. 简介：DMETL(目前的版本是4.0)是达梦数据库有限公司在上十年数据处理经验的基础上，研制开发的具有自主版权的、商品化的数据集成软件，实现了对数据抽取、传输、整合、以及装载的一站式支持，是构建数据中心、数据仓库、数据交换和数据同步等应用的理想工具。 同类型ETL工具有：informatic、 ...
分类：
其他好文 时间：
2020-08-15 22:27:37
阅读次数：
62
自助式BI或者自助式数据分析是最近几年兴起的一个概念。根据Gartner发布的信息，SelfServiceBusinessIntelligence(SSBI)被定义为“终端用户在被批准和支持的平台或工具组合中设计和部署自己的报告和分析。很多业内人士都表示未来的BI或者数据分析的趋势就是要实现去中心化。以前有三类人需要牵涉到整个BI系统的环境或者是业务的搭建过程中（ETL,数据分析及可视化，业务人员
分类：
其他好文 时间：
2020-08-10 18:36:17
阅读次数：
124
本文主要讲述原生SQLite数据库的一次ORM封装实践，给使用原生数据库操作的业务场景（如：本身是一个SDK）带来一些启示和参考意义，以及跟随框架的实现思路对数据库操作、APT、泛型等概念更深一层的理解。
分类：
移动开发 时间：
2020-08-10 15:43:04
阅读次数：
157
在RalphKimball和MargyRoss的《数据仓库工具包》一书中，提到了数据仓库设计中的10个常见陷阱，本文针对每个陷阱添加了一条与数据仓库设计经验有关的附加解释。在着手进行数据仓库项目之前，可以了解一下数这10个常见陷阱。这样才可以不被数据仓库设计的陷阱所困扰，避免这10个常见的陷阱可以在构建数仓的过程少走些弯路。陷阱10:过于迷恋技术和数据，而没有将重点放在业务需求和目标上。数仓归根结
分类：
其他好文 时间：
2020-08-10 09:36:23
阅读次数：
63
/* 用正则表达式验证一个表格的格式。 如果表格格式合乎要求，程序会输出 "all is well" 到 cout; 否则会将错误消息输出到 cerr。 一个表格由若干行组成，每行包含四个由制表符分隔的字段。 例如： Class Boys Girls Total 1a 12 15 27 1b 16 ...
分类：
其他好文 时间：
2020-08-09 20:21:57
阅读次数：
101
