数据质量抽数与检查日志

标签：使用   sp   文件   数据   2014   问题   log   bs   代码   

一、营销mis系统抽取数据按月抽取的表的方法：

营销表按月抽取的方法：1。没有增量，全量抽取，入库目标地址为ods_yx，数据集成平台。不用入库到镜像库的。

要先进行表数据的抽取，把81.34里面的log日志文件删除，然后

使用到的程序为：F:\FTP\2013KHPZ里面的入库程序。

勾选循环执行LDR，入库前先清除表数据等选项。然后开始执行入库。

二、营销mis无主键的数据抽取

无主键的数据抽取：

1.生成sybase全量视图语句，拿语句给覃金卫进行部署，然后把CTL文件拷贝到81.34 F盘下面的ftp的no_pk上的LDR文件进行部署。

2、 编写同步ODS库的语句文件，拷贝到81.34的f:\FTP\ SJJCPTDaynopk\MRToODS目录中，范例可以参考该目录中的已有文件。（生成镜像库到ODS语句）

但是得按照mrtoods下面的文件进行修改代码。

3.no_pk的策略，在no_pk的策略下进行编写策略。

然后策略的编写需要把2去掉，方案no_pk的策略下面。（一定要记住啊）

三、营销数据表全量抽取的方法

1、 获取表结构和主键信息

2、字段，主键入库。

3、 生成集成平台数据库的建表语句（Oracle）、全（增）量视图语句、SQL*Loader的控制文件（ctl文件）、同步ODS库的语句

3.1、Sybase全量视图。

3.2、创建ODS库建表语句。

3.3、数据采集系统创建采集方案（配置方案）

3.4、参考81.34里面的F:\FTP\20140313GLYXQL

四、广西数据质量平台执行库ODS_yx等数据库执行在等待的问题处理。

进入到97.97，然后进到windows任务管理器，在datacheck.clientsvrice_sjjcpt_scods转到进程，结束进程，然后进行服务的重启。

如果还不行就把sql2005里面的running表进行删除，然后等待1分钟这样进行规则的重新检查。

五、县级营销抽数在等待的问题处理。

1.首先先看抽数平台里面的方案是否还在等待，如果在等待，就进入到81.34里面，然后进入到windows任务管理器中，找到对应的县级抽数服务

例如：dataETL.clientsvr.extract_xj040901BL,然后看该服务是否已停止，然后重启该服务，问题解决。

 六、计量自动化系统数据抽取

1、在81.34找到G:\集成平台计量自动化新增表\BLIT.CreateView，把相应的表名加到tb.txt.

2、修改配置文件

<!--Oracle数据库实例名-->
<OracleSID>JLXT-LZ</OracleSID>
<!--Oracle数据库登录名-->
<OracleUserName>cxps</OracleUserName>
<!--Oracle数据库登录密码-->
<OraclePassWord>cxps</OraclePassWord>

 3、生成orcl查询语句及CTL语句，生成ods库建表语句

4、可以参考81.34里面的F:\FTP\JLZDH的抽数写法。

数据质量抽数与检查日志

标签：使用   sp   文件   数据   2014   问题   log   bs   代码   

原文地址：http://www.cnblogs.com/galeno/p/4150179.html