どんな話？
GPUのメモリ（VRAM）の見分け方と、ガレージ（Pod）を1つ借りて、つないで、止めて、返すまでを、公式の説明書にそってまとめた回です（この回のために借り直してはいません）。目安表では文章を作るAIの7B〜13B が24GB、計算式は10億パラメータあたり約2GBで、2つは合わないので幅で見積もります。借りる画面は6つの段で、Running と出ても準備中のことがある。最後に、やりたいこととGPUの対応表を1枚作ります。
この記事でわかること
- GPU のメモリ（VRAM）は、モデルを載せて計算する置き場。載りきらなければ動かない。ディスクを大きくしても増えず、選んだ GPU で決まる
- 公式の目安表では、文章を作るAIの7B〜13B が24GB、30B〜70B が48〜80GB、学習・微調整が40〜80GB、画像を作るAI（SDXL や Flux）が16〜24GB
- 計算の目安は、10億パラメータあたり約2GB。13B で約26GB、70B で約140GB。4ビットに量子化した70B なら約35GB。目安表とは合わないので、幅で見積もる
- 借りる画面は Workload・Region・Compute・Storage・Summary・Deploy の6段。借りるには、選んだ組み合わせの1時間分以上の残高が要る
- はじめてなら公式テンプレートの「Runpod PyTorch」。Webターミナルか JupyterLab でつなぎ、JUPYTER_PASSWORD でパスワードを自分で決めておく
- 止める（Stop）と作業台（container disk）は消え、棚は残り、保管料は月0.20ドル/GB。返す（Terminate）と、貸し倉庫（network volume）に入れていないものは全部消える
やることチェックリスト
0/6記事を読みながら、できたものにチェックを付けていけます。チェックはこの端末に残ります。
ぜんぶできた！おつかれさまでした。
くわしい手順と画面の図は、Xの記事にあります。
こんな人に
- GPUの一覧を開いたものの、どれを選べばいいか決められなかった人
- 「7B」「70B」といったAIモデルの大きさと、GPUの「24GB」の関係が分からない人
- ガレージを借りたあと、どうやってつなぎ、どう片付けるのかを先に知っておきたい人
この話のTIPS
- 注意欲しい GPU に「Out of capacity（空きなし）」と出ていても、選ぶことはできます。空いたら自動で借りる予約（Deploy when available）になり、見張る時間は自分で選べます（初めは24時間）。空いた瞬間に、あなたが画面を見ていなくても自動で借りられ、そこからメーターが回り始めます。寝ているあいだに借りられることもある、と覚えておいてください。
- コツVRAM は、選んだ GPU で決まります。GPU を2枚借りれば合わせた量は増えますが、1枚あたりの大きさは変わりません。1つのモデルを2枚に分けて載せるには、その使い方に対応したソフトや設定が要ります。