标签：
试想一下，如果一个文件5G、10G甚至更大。如何将它迅速地加载到数据库指定的表呢？我们看看Sybase IQ是如何迅速地将表的数据加载到数据库的。
数据文件格式：
1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,221943,1,12175,1,12,14426467,1191632,9,
1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,968852,1,82077,1,7,2430696,134921,5,
1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,936862,3,10847,1,5,4585323,362630,5,
1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,308796,2,5614,2,12,14401931,1202200,11,
1440,2011-01-09 00:00:00,1,珠海,2,固网,861234567000,11058523,6,984391,3,19,12789576,1113565,19,
据以“,”分割。并以“,”结尾。
commit; lock table iqloadtest in write mode wait ‘00:05:00‘; Set temporary option conversion_error=‘off‘; Set temporary option escape_character=‘on‘; Set temporary option load_memory_mb=256;
Set temporary option timestamp_format=‘YYYY-MM-DD HH:mm:ss‘;--解决时间格式问题 LOAD TABLE iqloadtest ( col1 ‘,‘, col2 ‘,‘, col3 ‘,‘, col4 ‘,‘, col5 ‘,‘, col6 ‘,‘, col7 ‘,‘, col8 ‘,‘, col9 ‘,‘, col10 ‘,‘, col11 ‘,‘, col12 ‘,‘, col13 ‘,‘, col14 ‘,‘, col15 ‘,\x0a‘,--最后一个字段顺便过滤掉换行符0a
filler(1)--在此例子中加了此条语句最后一行数据不被加载 ) FROM ‘/home/test/test.load‘ ESCAPES OFF QUOTES OFF IGNORE CONSTRAINT ALL 0 MESSAGE LOG ‘/home/test/iqMsg.log‘ ROW LOG ‘/home/test/iqRow.log‘ ONLY LOG ALL Notify 50000 WITH CHECKPOINT ON; commit;
结论：如果行结束符后面带了分隔符的话必须用此种方式。否则无法加载。
如果行结束符后面不带分隔符的话可以用filler(1)这种方式
IQLoad 会遇到的问题。
1、 ODBC 与 JDBC 的默认设置不一样。 JDBC 需要加上
Set temporary option escape_character=‘on‘;
2、当数据中存在null时的解决方法
commit; lock table iqloadtest in write mode wait ‘00:05:00‘; Set temporary option conversion_error=‘off‘; Set temporary option escape_character=‘on‘; Set temporary option load_memory_mb=256; Set temporary option timestamp_format=‘YYYY-MM-DD HH:mm:ss‘; LOAD TABLE iqloadtest ( 字段1 ‘分隔符‘ null(‘NULL‘), 字段2 ‘分隔符‘ null(‘NULL‘), col15 ‘分隔符\x0a‘ null(‘NULL‘), filler(1)--在此例子中加了此条语句最后一行数据不被加载 ) FROM ‘/home/test/test.load‘ ESCAPES OFF QUOTES OFF IGNORE CONSTRAINT ALL 0 MESSAGE LOG ‘/home/test/iqMsg.log‘ ROW LOG ‘/home/test/iqRow.log‘ ONLY LOG ALL Notify 50000 WITH CHECKPOINT ON; commit;
标签：
原文地址：http://www.cnblogs.com/rwxwsblog/p/4506562.html
