vLLM（ブイ・エル・エル・エム）とは？

もう少しくわしく

言語モデルに速く答えさせるための、オープンソースのソフト。Runpod は、これを Serverless の上で動かす「vLLM ワーカー」として用意している。見本の棚（Hub）で選び、Model の欄にモデルの名前を入れて作る。OpenAI の API と同じ形で呼べる（第8話）。

この言葉が出てくる記事：Runpod 第8話