どんな話？
言葉が違っても意味の近い文を見つける Embeddings を、図書館のおしらせ12文と7つの問いで試した回。文を1,024個の数字の列に変えて地図の点のように置き、問いから近い順に並べると、7問とも正解の文が1位で、英語の問いでも当たりました。合計399トークンです。ただし答えが無い問いにも1位を出し、肯定と否定をほとんど区別せず、出すのは文で答えではありません。
この記事でわかること
- Embeddings は文を数字の列（ベクトル）に変える窓口。jina-embeddings-v5-text-small では1つの文に1,024個の数字が付いた。近さを計算して並べるのは受け取った側の仕事
- わざとおしらせと違う言葉で書いた7つの問いで、7問とも正解の文が1位。「本を返すのが遅れたら」の1位は「返却期限を過ぎた資料がある場合…」で0.600
- 英語の「What happens if I return a book late?」でも、1位は同じ1番の文（0.536）。小さいほうの v5-text-nano でも7問とも正解が1位
- 使ったのは12文で304トークン、7問で95トークン、合計399トークン（無料の1,000万トークンの0.004%ほど）。短い問いなら1つ約14トークン
- 答えが無い「プールはありますか」の1位が0.247、当たりの「車で行っても大丈夫ですか」が0.251。「何点以上なら当たり」の線は引けない
- 「食べてもいいですか」と「食べてはいけませんか」は0.665と0.661。近いのは話題であって、主張ではない
やることチェックリスト
0/6記事を読みながら、できたものにチェックを付けていけます。チェックはこの端末に残ります。
ぜんぶできた！おつかれさまでした。
くわしい手順と画面の図は、Xの記事にあります。
こんな人に
- 検索して「0件」と出たのに、あとで同じ内容の文を見つけてがっかりしたことがある人
- 「ベクトル検索」「埋め込み」「RAG」という言葉を見かけて、何のことか気になっている人
- AIの検索結果の横に出る「0.83」のような数字を、どう読めばいいか分からない人
この話のTIPS
- 注意Embeddings は「近い順に並べる」だけの仕組みです。12文あれば、かならず1番から12番まで順位が付きます。「どれも当てはまりません」とは言いません。
- コツ探される側の文は「文用」、探す側の問いは「問い用」として送る。公式は、ここを取り違えると結果が悪くなると説明しています。