Четене на големи файлове с python
Published on 13.04.2011
Най-използваният начин за четене на файлове под Python е следният
f = open('fayl.txt', 'r') for line in f.readlines(): print line
Като по този начин първо зареждаме целия файл в паметта и след това започваме обработката му, което при големи файлове може да е леко проблемно. Другият вариант е чрез използването на fileinput модула
import fileinput file_1 = 'golqqqqm_file.csv' for line in fileinput.input([file_1]): print lineХубавото на модула е че не зарежда целия файл в паметта и че позволява да се добавят десетки файлове за четене т.е може да се направи нещо такова
import fileinput for line in fileinput.input(['file1.txt','file2.txt','file2.txt']): print line
При обработването на едни Apache логове (2 GB файлове) Python се справи безпроблемно за 10тина минутки.