DB みたいに、巨大なファイルを、レコードに分割すれば、もっと効率的

例えば、1GB のファイルを、1MB の千レコードに分割して、DBに入れる。
各レコードにキーが付いていれば、そのレコードだけを読み込める

他のレコードは読み込まないから、メモリ使用量が少ない

だから、ファイルを分割できるかどうかを考えてみれば？