我想循环一个迭代器的"切片".我不确定这是否可行,因为我知道切片迭代器是不可能的.我想做的是:
def f(): for i in range(100): yield(i) x = f() for i in x[95:]: print(i)
这当然失败了:
--------------------------------------------------------------------------- TypeError Traceback (most recent call last)in () 4 x = f() 5 ----> 6 for i in x[95:]: 7 print(i) TypeError: 'generator' object is not subscriptable
是否有一种pythonic方式来循环生成器的"切片"?
基本上我实际关注的生成器读取一个非常大的文件并逐行执行一些操作.我想测试文件的切片以确保事情按预期执行,但让它在整个文件上运行是非常耗时的.
编辑:
如上所述,我需要在一个文件上.我希望有一种方法可以使用生成器显式指定这个例子:
import skbio f = 'seqs.fna' seqs = skbio.io.read(f, format='fasta')
seqs是一个生成器对象
for seq in itertools.islice(seqs, 30516420, 30516432): #do a bunch of stuff here pass
上面的代码做了我需要的,但是仍然非常慢,因为生成器仍然遍历所有行.我希望只遍历指定的切片
一般来说,答案是itertools.islice
,但你应该注意到,islice
实际上不会,也不能实际跳过值.它只是start
在yield
值开始之前抓取并丢弃值.因此,通常最好避免islice
在需要跳过大量值时使用和/或跳过的值对于获取/计算来说是昂贵的.如果您可以找到一种不首先生成值的方法,请执行此操作.在您(显然是做作的)示例中,您只需调整range
对象的起始索引.
在尝试在文件对象上运行的特定情况下,拉动大量行(特别是从慢速介质读取)可能并不理想.假设您不需要特定的行,您可以使用一个技巧来避免实际读取文件的大块,同时仍然测试到文件的一些距离,是seek
一个猜测的偏移量,读出到行的末尾(丢弃你可能在中间寻找的部分线,然后islice
关闭你想要的那条线.例如:
import itertools with open('myhugefile') as f: # Assuming roughly 80 characters per line, this seeks to somewhere roughly # around the 100,000th line without reading in the data preceding it f.seek(80 * 100000) next(f) # Throw away the partial line you probably landed in the middle of for line in itertools.islice(f, 100): # Process 100 lines # Do stuff with each line
对于文件的特定情况,您可能还希望查看mmap
哪些可以以类似的方式使用(如果您正在处理数据块而不是文本行,可能会随机随意跳转,这非常有用).
更新:根据您更新的问题,您需要查看您的API文档和/或数据格式,以确切了解如何正确跳过.它似乎skbio
提供了一些跳过使用的功能seq_num
,但如果不处理大部分文件,它仍然会读取.如果数据以相同的序列长度写出,我会查看文档Alignment
; 对齐数据可以是可加载的,而不需要处理前面的数据,例如通过使用Alignment.subalignment
创建Alignment
跳过其余数据的新s.