码迷,mamicode.com
首页 > 其他好文 > 详细

BIML 101 - ETL数据清洗 系列 - BIML 快速入门教程 - 序

时间:2019-04-04 09:38:57      阅读:140      评论:0      收藏:0      [点我收藏+]

标签:应用   数据集   查看   style   数据集成   www.   多少   blank   技能   

 BIML 101 - BIML 快速入门教程

做大数据的项目,最花时间的就是数据清洗。

没有一个相对可靠的数据,数据分析就是无木之舟,无水之源。

 

如果你已经进了ETL这个坑,而且预算有限,并且有大量的活要做;

时间紧,任务多,是不是有点菊花一紧的感觉。

 

多少次,你对着几个月前自己写的代码在挠头,

多少次,指着屏幕上别人写的代码目瞪口呆,心中默默数有多少头草泥马。WTF。

 

不管你是做数据仓库,还是做数据转换,数据集成等等,大量的重复性的工作令人乏味;

但是,如果没有好的设计和遵从一致的流程,后期的维护就是一个更大的坑。

 

BIML,

就是你的救星。

 

码农们应该都知道一个叫DRY的原则:Don‘t Repeat Yourself.

强调的是代码的复用性。用BIML的最重要的一个目的就是这个 - 减少重复性代码。

当然有些其他一些软件设计的原则,譬如SOLID,也适用。

 

BIML由Varigence公司开发,语言格式类似于HTML,用于商业智能和数据仓库开发,它能够生成兼容Visual Studio的SSIS包,这方便日后查看和修改。

 

基于BIML,Varigence公司还有其他版本的工具(https://www.varigence.com/Products),有些有高级功能,适合企业级的商业应用。例如,CI(continues integration),版本发布和管理等。 - 本文非安利文,请自行查阅。

 

开源版本的BIML: https://varigence.com/BimlExpress

  

所需技能:

  1. 基本SQL,如:create table,select等
  2. 熟悉基本的html或者xml语法,非常简单
  3. 知道一丢丢的C#,变量,连接数据库,读表
  4. SSIS的一些组件

 

本系列会从基本的创建biml入手,通过实战案例,创建一个完整的数据流。

 

其它付费商业软件由:Wherescape RED/3D, Informatica等。

 

注:

1)本系列可能稍微涉及详细的SSIS包管理和部署,但是详细的请参考别的文章。

2)本系列可能会涉及到一些数据仓库建模,星型,Data Vault等概念。

BIML 101 - ETL数据清洗 系列 - BIML 快速入门教程 - 序

标签:应用   数据集   查看   style   数据集成   www.   多少   blank   技能   

原文地址:https://www.cnblogs.com/lizardbi/p/BIML101_BIML_INDUCTION_FOR_ETL_Datawarehouse.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!