如何合并大型未分类文件中的行而不会耗尽Perl中的内存？

我有一个非常大的列分隔文件来自数据库报告,如下所示:

field1,field2,field3,metricA,value1
field1,field2,field3,metricB,value2

我希望新文件具有这样的组合线,所以它看起来像这样:

field1,field2,field3,value1,value2

我可以使用哈希来做到这一点.在此示例中,前三个字段是键,我将value1和value按特定顺序组合为值.在我读完文件后,我只是将哈希表的键和值打印到另一个文件中.工作良好.

但是,由于我的文件非常大,我有一些担忧.每个文件大约8 GB.

会有更有效的方法吗？我不是在考虑速度,而是在内存占用方面.我担心这个过程会因内存问题而死亡.我只是在一个可行的解决方案上留下空白,但不会把所有东西都推到最后,最终是一个非常大的哈希.

为了完全公开,我在Windows上使用ActiveState Perl.

如果您的行按键排序,或者由于某些其他原因,field1,field2,field3的相等值相邻,则状态机将更快.只需读取这些行,如果字段与前一行相同,则发出两个值.

否则,至少,您可以利用这样一个事实:您有两个值,并在找到第二个值时从哈希中删除密钥 - 这应该会大大限制您的内存使用量.

如果您有其他类似Unix的工具(例如通过cygwin),那么您可以使用sort命令(可以处理大文件)预先对文件进行排序.或者可能你可以让数据库输出排序的格式.

一旦文件被排序,那么进行这种合并就很容易 - 一次迭代一行,将最后一行和下一行保留在内存中,并在键改变时输出.

如果您认为数据不适合内存,则可以始终将哈希绑定到磁盘数据库:

use BerkeleyDB;
tie my %data, 'BerkeleyDB::Hash', -Filename => 'data';

while(my $line = <>){
    chomp $line;
    my @columns = split /,/, $line; # or use Text::CSV_XS to parse this correctly

    my $key = join ',', @columns[0..2];
    my $a_key = "$key:metric_a";
    my $b_key = "$key:metric_b";

    if($columns[3] eq 'A'){
        $data{$a_key} = $columns[4];
    }
    elsif($columns[3] eq 'B'){
        $data{$b_key} = $columns[4];
    }

    if(exists $data{$a_key} && exists $data{$b_key}){
        my ($a, $b) = map { $data{$_} } ($a_key, $b_key);
        print "$key,$a,$b\n";
        # optionally delete the data here, if you don't plan to reuse the database
    }
}