码迷,mamicode.com
首页 > 其他好文 > 详细

perl对大量大文件进行读写

时间:2014-05-05 10:48:30      阅读:341      评论:0      收藏:0      [点我收藏+]

标签:style   blog   class   code   java   color   

在对大量文件进行读写时,最好将文件存为gz文件,可以节约读写硬盘的时间,硬盘也不会那么卡。

在写gz文件时,最好使用PerlIO::gzip模块。这个模块不用调用gzip命令,减少了程序占用的线程数量,可以有效的降低load。

下面是一个例子。

bubuko.com,布布扣
#! /usr/bin/env perl
use strict;
use warnings;
use List::Util;
use FileHandle;
use PerlIO::gzip;

my %fh;

my @a=(1..100);
for(my $i=1;$i<=100;$i++){
    open $fh{$i}, ">:gzip", "x.$i.gz";
    #open ($fh{$i},"|gzip > x.$i.gz"); #此行是不推荐的写法
}

for(my $i=0;$i<1e9;$i++){
    my @b=List::Util::shuffle @a;
    my $x=$b[0];
    $fh{$x}->print("@b\n");
}

foreach my $i(keys %fh){
    close $fh{$i};
}
bubuko.com,布布扣

 

perl对大量大文件进行读写,布布扣,bubuko.com

perl对大量大文件进行读写

标签:style   blog   class   code   java   color   

原文地址:http://www.cnblogs.com/yumtaoist/p/3707804.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!