SSIS Passing Parameters to an ADO .NET Source query；向ado.net数据源传递参数。 ...
分类：
Web程序 时间：
2016-06-24 10:48:19
阅读次数：
209
查看一个Package的历史Message 数据，发现 DataFlow Task 经常出错，错误信息的Description是： Description: "While reading current row from host, a premature end-of-message was en ...
分类：
其他好文 时间：
2016-06-23 20:25:15
阅读次数：
225
1.有了生产库, 通过cdc捕获数据变化, 通过ssis 将数据保存到数据仓库里面, 现在要做的就是建立多维数据集SSAS进行数据统计分析. 2.本地环境搭建好多维数据集之后, 如何发布到正式环境呢? 总不该说在正式服务器上也装一个 VS吧. 经过研究发现, 可以使用XMLA 查询 来完成. 首先在 ...
分类：
数据库 时间：
2016-05-31 18:41:03
阅读次数：
177
1.从cdc捕获到数据以后, 连接ssis进行执行数据的抽取以及转换工作,把需要的数据导入到数据仓库, 并且做好对应的日志记录表.现在先说一下比较重要的. 选择参数化设置数据连接, 以方便后面的配置. 因为要动态可维护, 这里使用 可执行exe程序进行封装, 然后配置在windows计划任务里面 下 ...
分类：
其他好文 时间：
2016-05-31 17:22:01
阅读次数：
351
数据流利用内存来缓冲数据，并在内存中处理数据转换，由于内存的访问速度是非常快的，所以SSIS数据流转换性能是非常高效的。SSIS Engine将数据分批加载到内存中，当Data Flow将一批新的数据加载到内存时，下游转换组件会对已经加载到内存中数据进行处理，同时，目的组件会将处理完成的数据加载到T ...
分类：
其他好文 时间：
2016-05-24 00:19:50
阅读次数：
119
以数据流的方式来设计Package，将核心数据处理移动到数据流中，一般情况下，能够减少临时表的创建，获得较高的处理性能，在某些情况下，使用暂存表（staging table）能够优化package设计。 1，使用基于集合的更新操作 在大型系统中，数据更新通常是系统的bottleneck，因为SSIS ...
分类：
其他好文 时间：
2016-05-23 22:29:28
阅读次数：
252
假设一种场景：有一个ETL系统，通过记录数据最后更新的时间，对数据进行增量更新。如果Data Warehouse中存在有外键关系的两个表，Group(GroupID,StudentID,GroupData) 和 Student(StudentID,StudentAlternateID，Student ...
分类：
其他好文 时间：
2016-05-22 18:21:55
阅读次数：
134
一般来说，ETL实现增量更新的方式有两种，第一种：记录字段的最大值，如果数据源中存在持续增加的数据列，记录上次处理的数据集中，该列的最大值；第二种是，保存HashValue，快速检查所有数据，发现异动的数据之后，只同步更新被修改的数据。 1，记录字段的最大值，使用DateTime记录源数据上次更新的 ...
分类：
其他好文 时间：
2016-05-22 16:52:59
阅读次数：
314
数据量的大小由两个方面决定：行的宽度和数据行的数量，为了减少ETL运行的时间，可以从源数据的提取上做优化，从数据源的输入上控制数据的质量和大小，减少转换和IO。 一，减少行的宽度 1，只加载需要的数据列 在Data Flow中，源适配器允许选择加载的Table 或View，虽然有复选框，从而过滤掉不 ...
分类：
其他好文 时间：
2016-05-22 16:36:48
阅读次数：
155
SSIS Engine 使用Merge Join 转换和 Lookup转换实现SQL语句中的inner join 和 outer join 功能。任何流经Data Flow的数据都会被加载到内存的数据缓冲区中，数据缓冲区能够容纳的数据量决定了转换组件的性能。Lookup转换有一个输入，一个参考表（或 ...
分类：
其他好文 时间：
2016-05-20 00:42:28
阅读次数：
141
