（转载）CSV 文件处理 PERL

标签：

1. http://cn.perlmaven.com/how-to-read-a-csv-file-using-perl
2. http://search.cpan.org/~hmbrand/Text-CSV_XS-1.09/CSV_XS.pm
5. 读取并处理文本是 Perl 的强项。有时候你有一个CSV (Comma-separated values)文件，需要从中提取信息，该怎么办呢？
7. 本节给出三个解决方案。
9. 如果你的CSV文件比较简单，简单的Perl脚本就能轻松搞定。这里是我们的方案一。
11. 第二个方案能够对付稍微复杂的CSV文件。
13. 第三个方案，能够处理所有的情况，不过，需要用CPAN上的模块。
15. 假设我们有一文件，内容如下：
17. Tudor,Vidor,10,Hapci
18. Szundi,Morgo,7,Szende
19. Kuka,Hofeherke,100,Kiralyno
20. Boszorkany,Herceg,9,Meselo
22. 这就是一个基本的CSV文件。每个数据项由逗号隔开(Comma-separated values)，多行构成一个文件。
24. 当然，分隔符不一定是逗号，只要保持一致就好了。不过通常是逗号隔开，也有是用 TAB 或者 | 键隔开。
26. 我们要做的是算出第三列所有数字之和。
28. 思路
30.     按行读取文件
31.     从读取的行中，取出第三列的值
32.     累加
34. 我们在以前的章节中学过怎样按行读取文件。下面我们来看怎样提取第三列的值。
36. 你可能想到直接用substr()，不过，因为第三列的位置在每一行中不是固定的。那什么是不变的呢？ 第三列的值总是在第二个逗号与第三个逗号之间。基于此，我们可以用index() 来得到每一行， 第二个和与第三个逗号的位置。然后再用substr()。不过，Perl中，有更好的方法。
38. 用 split
40. split() 的中文意思是分隔。要实现分隔的操作，你需要分隔符和要分的字符串。 分隔符可以是字符串，甚至是正则式。简单起见，我们只用字符串。
42. 如果你有一个字符串$str = "Tudor:Vidor:10:Hapci"，执行@fields = split(":" , $str);， @fields中将会有四个值， "Tudor", "Vidor", "10" and "Hapci"。print $fields[2]将会得到 10。 不要忘了，Perl 数组从 0 开始索引的。
44. 对于我们的问题，用 @fields = split("," , $str); 就可以了。当然，split 后的 () 通常省略。
46. 所以，完整的程序可以这样写：
48.     #!/usr/bin/perl
49.     use strict;
50.     use warnings;
51.      
52.     my $file = $ARGV[0] or die "Need to get CSV file on the command line\n";
53.      
54.     my $sum = 0;
55.     open(my $data, ‘<‘, $file) or die "Could not open ‘$file‘ $!\n";
56.      
57.     while (my $line = <$data>) {
58.     chomp $line;
59.      
60.     my @fields = split "," , $line;
61.     $sum += $fields[2];
62.     }
63.     print "$sum\n"; 
65. 保存为csv.pl，在终端输入 perl csv.pl data.csv 就可以得到结果了。
67. 万一有数据项中带逗号怎么办？
69. 显然，我们的程序不能用了。
71. 比如这个文件，完全符合CSV的格式规定。
73. Tudor,Vidor,10,Hapci
74. Szundi,Morgo,7,Szende
75. Kuka,"Hofeherke, alma",100,Kiralyno
76. Boszorkany,Herceg,9,Meselo
78. 第三行，split后，第三列的值是 alma"。
80. Text::CSV
82. 好像有点复杂了，是吧，那好，求助 CPAN。幸运的是，Text::CSV 能够帮助我们。
84. 解决上个问题的代码：
86.     #!/usr/bin/perl
87.     use strict;
88.     use warnings;
89.      
90.     use Text::CSV;
91.     my $csv = Text::CSV->new({ sep_char => ‘,‘ });
92.      
93.     my $file = $ARGV[0] or die "Need to get CSV file on the command line\n";
94.      
95.     my $sum = 0;
96.     open(my $data, ‘<‘, $file) or die "Could not open ‘$file‘ $!\n";
97.     while (my $line = <$data>) {
98.     chomp $line;
99.      
100.     if ($csv->parse($line)) {
101.      
102.     my @fields = $csv->fields();
103.     $sum += $fields[2];
104.      
105.     } else {
106.     warn "Line could not be parsed: $line\n";
107.     }
108.     }
109.     print "$sum\n"; 
111. Text::CSV 是Perl的第三方扩展，帮助我们读写 CSV 文件。Perl 程序员把第三方扩展称为模块，有些语言中称为类库。
113. 使用模块之前，需要先安装。我们已经讲过怎样安装模块，在这里不做赘述。
115. 安装了模块以后，用use Text::CSV;来加载。
117. Text::CSV 实际是一个类，可以用new来创建这个类的实例。-> 是调用的意思。
119. my $csv = Text::CSV->new({ sep_char => ‘,‘ }); 创建了一个类的实例，通常称为对象。 Perl 中对象也是一个标量。事实上，可以省略 { sep_char => ‘,‘ } 因为，默认的分隔符(sep_char) 是逗号。
121. 接下来，说说 split 和 $sum 所在的行。
123. Text::CSV 模块没有split 函数，而是提供了 “parse 函数” ————在面向对象编程中，称为"parse 方法"。用箭头(->)来调用
125. $csv->parse($line) 的意思是，解析 $line， 它并不直接返回解析的内容，而是告诉你解析是否成功， 比如，如果 $line 的内容是 Kuka,"Hofeherke, alma,100,Kiralyno，解析就会失败，因为这行的内容不符合 CSV的格式。
127. 如果解析成功，我们可以调用 fields 方法，来取得解析的值。然后取出我们想要的那个。
129. 一个数据项占据多行
131. 比如：
133. Tudor,Vidor,10,Hapci
134. Szundi,Morgo,7,Szende
135. Kuka,"Hofeherke,
136. alma",100,Kiralyno
137. Boszorkany,Herceg,9,Meselo
139. 我们的上个解决方案又不行了。不过 Text::CSV 是可以解决这个问题的。
141. 以下代码基于Text::CSV_XS 模块现任维护者的评论:
143.     #!/usr/bin/perl
144.     use strict;
145.     use warnings;
146.      
147.     use Text::CSV;
148.      
149.     my $file = $ARGV[0] or die "Need to get CSV file on the command line\n";
150.      
151.     my $csv = Text::CSV->new ({
152.     binary => 1,
153.     auto_diag => 1,
154.     sep_char => ‘,‘ # not really needed as this is the default
155.     });
156.      
157.     my $sum = 0;
158.     open(my $data, ‘<:encoding(utf8)‘, $file) or die "Could not open ‘$file‘ $!\n";
159.     while (my $fields = $csv->getline( $data )) {
160.     $sum += $fields->[2];
161.     }
162.     if (not $csv->eof) {
163.     $csv->error_diag();
164.     }
165.     close $data;
166.     print "$sum\n"; 
168. 上例中，我们不再按行读取文件，而是打开文件后，交给Text::CSV 模块处理，我们通过 getline 来 得到需要的行。Text::CSV 会把占据多个行的数据项当作一个数据正确处理，而不是当作多行。
170. 另外，getline 返回的并不是我们期望的数组，而是数组的引用。想要从数组的引用中得到第三项，用 $fields->[2]。我们以后会更详细的学习引用相关的知识。
172. 如果读完CSV的数据项，正常情况下，应该是到了文件末尾。如果不是，那就是有问题，我们让程序输出诊断信息。

（转载）CSV 文件处理 PERL

标签：

原文地址：http://www.cnblogs.com/hzj680539/p/4181956.html