ざっくりでいいからどれくらいのメモリが必要か考える。
1個のデータが1byteでおよそ100MB。100byteならおよそ1GB。
それを加工するためには（仕方によるが）2倍くらいのメモリが必要。
このくらいになれば、ぼちぼち分割とか並列化とか考え始めなければならない。