【小学生でもわかる】AIへの質問は1回にまとめると安くて速い？Jevで質問カード20枚を一度に出してみた

どんな話？

Jevは1回の依頼で、1つの資料に対して質問カードをまとめて、互いを見ずに同時に評価します。練習ステージで1枚から20枚にしても、サーバーでの処理は53〜102ミリ秒の中で、枚数では延びませんでした。1枚ずつ5回は2,413トークン、5枚を1回は573トークンで約4.2分の1。上限は資料と質問ぜんぶで6万4千トークン、資料といちばん長いカードで3万2千トークン。前の答えで資料か候補が変わるカードだけ、2回目に分けます。

この記事でわかること

• 1回の依頼で、1つの資料に質問カードをまとめて出せる。カードは同時に、互いの答えを見ずに評価される
• 質問カードを1枚から20枚にしても、サーバーでの処理は53〜102ミリ秒の中で、枚数では延びなかった（1回か2回ずつの測定）
• 1枚ずつ5回＝2,413トークン、5枚を1回＝573トークン（約4.2分の1）。料金の差は、おもに依頼を何回送ったかでつく
• 公式のレシピは「12.2倍安く10.0倍速い」、質問の出し方のページは「11.5倍安く9.6倍速い」。公式の中で割れている
• 1回の上限は、資料と質問ぜんぶで6万4千トークン、資料といちばん長いカードで3万2千トークン。こえると答えは1つも返らず断られる
• 前の答えを使うカード（資料に足す・資料を決める・候補を選ぶ）だけ2回目に分ける。使わないかもしれないカードは先に出しておいていい

こんな人に

• 問い合わせ1通について、AIに確かめたいことが5つも6つもあり、1つずつ聞いて回数も料金もかさんでいる人
• しゃべるAIの感覚で、質問は少ないほど速くて安いと思っている人
• 自分の仕事の質問カードを、1回目にまとめるものと2回目に分けるものに仕分けたい人

この話のTIPS

• コツまとめて出したカードは、ほかのカードの答えを見ません。2回目の依頼に分けるのは、前の答えで資料か候補が変わるときだけです。答えを見てから使うかどうか決めるだけのカードは、1回目にまとめて出し、要らない答えはプログラムが捨てます。
• 注意断られた依頼に料金がかかるかは、確かめられていません。日本語の資料で何字まで入るかも、試していません。字とトークンの数え方は言葉によって変わるので、英語の15万字を日本語の目安にしないでください。