Words
つまり——モデルの中の数字を粗く丸めて、全体を小さくする工夫
計算の目安は10億パラメータあたり約2GBで、70B なら約140GB。4ビットに量子化した70B なら約35GBで動く、という例が説明書にある（第4話）。
この言葉が出てくる記事：Runpod 第4話