どんな話？
架空の総務のFAQ10問から、質問3つの答えを embedding で探し、rerank で並べ直した回です。1段目も2段目も、3問とも1位は正しい答え。けれど rerank の2位以下は0.9台が並ぶことがあり、答えの無い食堂の質問でも0.915で1位が出た。点数の線では切らず、順位で見て1位を人が読む。FAQの文も入力で学習に使われる。成果物は、答えを探した結果表です。
この記事でわかること
- embedding は1回に1つの文を送ると1536個の数字が返る。FAQは RETRIEVAL_DOCUMENT、質問は RETRIEVAL_QUERY。task_type を省くと400の断り
- 数字は「正規化されていません」。13本の長さは31.2から32.8までばらばらで、内積だけで並べると1問目の2位と3位が入れかわった
- rerank は1回1〜20件。document_id は0から数えるので、1を足して文書の番号にそろえる
- 1問目の「家で仕事をしたいんだけど、何日までいいの？」は、近さ0.8408で在宅勤務が1位。「家」も「仕事」も入っていない文
- 1問目の rerank で0.9以上に残るのは5件、2問目なら7件。説明書は「絶対的な閾値によるフィルタリングには適さない」と書いている
- 送る回数は embedding が13回、rerank が3回の合わせて16回。1回ごとに1.5秒あけ、お金はかかっていない
やることチェックリスト
0/6記事を読みながら、できたものにチェックを付けていけます。チェックはこの端末に残ります。
ぜんぶできた！おつかれさまでした。
くわしい手順と画面の図は、Xの記事にあります。
こんな人に
- 社内のFAQや手順書はそろっているのに、聞かれた言葉で検索しても目当ての答えが出てこない人
- 言葉が違っても意味が近い文を探す「似た文を探す」「並べ直す」の2段の仕組みを、コードで試したい人
- rerank の点数に線を引いて答えを出してよいのか、迷っている人
この話のTIPS
- 注意説明書は rerank の点数について、確率として調整されたものではなく、「絶対的な閾値によるフィルタリングには適さない」と書いています。関係の薄い文にも高い点が付くことがあり、0.9以上に固まることがある。
- コツSarashina の embedding が返す数字は「正規化されていません」。だから、コサイン類似度を使ってください、と説明書は書いています。