在kettle中实现数据验证和检查

在kettle中实现数据验证和检查

      在ETL项目，输入数据通常不能保证一致性。在kettle中有一些步骤能够实现数据验证或检查。验证步骤能够在一些计算的基础上验证行货字段；过滤步骤实现数据过滤；javascript步骤能够实现更复杂的计算。

      通常以某种方式查看那些数据是有缺陷的也是实用的，由于大多数ETL是无人值守执行的，所以通常ETL程序会把这些缺陷数据通知给ETL开发人员或管理员。建议把这些问题数据行保存到一个特定的公共表格中，以便跟踪这些数据；那么该表格应该包含一些元信息，如:执行转换的名称、验证错误及错误描写叙述等。

      在这里下载演示样例文件，csv输入文件里记录客户到达和离开的两个健身场所，转换程序验证客户ID，场所名称，日期格式，给定日期的合理性。正确的数据写入到excel文件，错误数据重定向到错误收集步骤，每行错误数据被拼成一个字符字段，同一时候也收集一些关于转换的元数据信息及错误描写叙述，终于这些错误数据行信息保存到还有一个excel文件。

      实际场景中输出步骤更可能是表输出步骤，“get System Info”步骤会收集很多其它数据，之后的错误手机步骤，最好使用子转换，为了在其它转换中重用。

      以结构化的方式保存验证错误也使非常好地方便数据监測成为可能，ETL过程完毕后，能够简单地发送邮件给管理员，简短的说明关于包含错误代码，转换名称，BATCH_ID等数据的缺陷，以及不论什么你须要的元数据。假设你工作是关于DWH或BI方面的，如今手头已经有了必要的工具。假设您不想使用的excel报告的方式，你可能仍然使用kettle的job创建一个简短的报告文件，并邮寄给了管理员。