巨大なファイルを読み込んで書き出すプログラムを書いています
time1, data1-1, data2-1, data3-1......datan-1
time2, data1-2, data2-2, data3-2......datan-2
：
みたいな構造が延々と続いています

でこれをdataごとに
data1.csv
time1 data1-1
time2 data1-2
：
ってそれぞれ書き出して分割する感じなんです

ファイルがでかすぎて一括で読み込むのは無理です。ファイル一つずつ順番に書き出そうとするとでかいファイル全体を走査するのをファイル数分繰り返すことになります
データ一つ読み込んだら該当のファイルに書き込むのも考えましたがファイルを開いて閉じてをデータ数分繰り返すのも無理があるような気がします
何かいいアイディア無いでしょうか