чтение и анализ TSV-файла, а затем управление им для сохранения в формате CSV (*эффективно*)

мои исходные данные находятся в TSV-файле, 6 Столбцах и более 2 миллионов строк.

вот что я пытаюсь добиться:

  1. мне нужно прочитать данные в 3 столбца (3, 4, 5) в исходном файле
  2. пятый столбец является целым числом. Мне нужно использовать это целочисленное значение для дублирования записи строки с использованием данных в третьем и четвертом столбцах (по количеству целых раз).
  3. Я хочу записать вывод #2 на выход файл в формате CSV.

ниже то, что я придумал.

мой вопрос: это эффективный способ сделать это? Похоже, что это может быть интенсивным при попытке на 2 миллиона строк.

во-первых, я сделал вкладку sample отдельным файлом для работы и назвал его " sample.txt'. Это основной и имеет только четыре строки:

Row1_Column1    Row1-Column2    Row1-Column3    Row1-Column4    2   Row1-Column6
Row2_Column1    Row2-Column2    Row2-Column3    Row2-Column4    3   Row2-Column6
Row3_Column1    Row3-Column2    Row3-Column3    Row3-Column4    1   Row3-Column6
Row4_Column1    Row4-Column2    Row4-Column3    Row4-Column4    2   Row4-Column6

тогда у меня есть этот код:

import csv 

with open('sample.txt','r') as tsv:
    AoA = [line.strip().split('t') for line in tsv]

for a in AoA:
    count = int(a[4])
    while count > 0:
        with open('sample_new.csv','ab') as csvfile:
            csvwriter = csv.writer(csvfile, delimiter=',')
            csvwriter.writerow([a[2], a[3]])
        count = count - 1
1 56
python python-2.7 csv tab-delimited-text

1 ответ:

вы должны использовать csv модуль для чтения файла значений, разделенных вкладками. Делай не читать его в память за один раз. В конце концов, каждая прочитанная строка содержит всю информацию, необходимую для записи строк в выходной CSV-файл. Держите выходной файл открытым во всем.

import csv

with open('sample.txt','rb') as tsvin, open('new.csv', 'wb') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows([row[2:4] for _ in xrange(count)])

или, используя itertools модуль, чтобы сделать повторение с itertools.repeat():

from itertools import repeat
import csv

with open('sample.txt','rb') as tsvin, open('new.csv', 'wb') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows(repeat(row[2:4], count))
113