>>18
量子化は大規模言語モデルの小型化の意味だよ
4ビットや2ビット量子化とかしたら、ミドルスマホでも動く(精度は落ちる)
だけど、任務に特化した学習をさせれば精度も上がるし