Четене на големи файлове с python

Най-използваният начин за четене на файлове под Python е следният

f = open('fayl.txt', 'r') 
for line in f.readlines(): 	
    print line

Като по този начин първо зареждаме целия файл в паметта и след това започваме обработката му, което при големи файлове може да е леко проблемно. Другият вариант е чрез използването на fileinput модула

import fileinput
file_1 = 'golqqqqm_file.csv'
for line in fileinput.input([file_1]):
    print line

Хубавото на модула е че не зарежда целия файл в паметта и че позволява да се добавят десетки файлове за четене т.е може да се направи нещо такова

import fileinput
for line in fileinput.input(['file1.txt','file2.txt','file2.txt']):
    print line

При обработването на едни Apache логове (2 GB файлове) Python се справи безпроблемно за 10тина минутки.

← Back to all posts