>>669
https://qiita.com/takuya77088/items/fc9b19941bee29069b75
にvLLMってのを使ってRTX4090搭載のマシンで動かせてるっぽい記述があるんだよね
それで真似してみたけど動かなくてRAMを増やしてオフロードすれば行けるのかなと