例のCSVも
ラインごとに処理すれば良い物じゃないかもしれない
縦軸に項目が並んでるとか
何度も全体をスキャンしなければならないような統計処理がDB登録前に必要とか

1ラインが10GBでした
とかいう可能性も