記事2026年10月20日Read in English

「たぶんはい」は、毎日1つのお題を当てる言葉当てゲームです。お題は全員同じです。「食べ物ですか？」「手に持てますか？」のように自由に質問を打つと、はい・たぶんはい・どちらでもない・たぶんいいえ・いいえ の5つのどれかで答えが返ってきます。質問は20回までです。

この答えは、すべて Jev が決めています。Jev は OpenRouter から呼んでいます。2026年9月30日に日本語で始め、10月5日に英語・スペイン語・中国語・韓国語を足しました。この記事では、答えの作り方、精度、費用、うまくいかなかったことを書きます。

Jev がここで決めていること

Jev は「判断」をするモデルです。状況といくつかの問いを渡すと、数字を返します。はい・いいえの問いならその確率（Noul）、選択肢から選ぶ問いなら選んだもの（Choice）、点数の問いなら点数（Score）です。文章は書きません。

出題者に Jev を使っているのは、このためです。数字しか返さない出題者は、うっかり文章で答えを言ってしまうことも、話をそらすことも、それらしい理由をでっち上げることもありません。間違えるとしても、「どのくらい確かか」がずれるだけです。

プレイヤーの質問1つにつき、Jev を1回呼びます。渡す状況はこうです。

{
  "secret_word": "…",
  "facts_about_secret_word": "…",
  "player_question": "人より大きいですか？"
}

1回の呼び出しで、Noul の問いをまとめて聞きます。

• yes: その質問の正しい答えは「はい」か
• neither: ふつうの人は、はいともいいえとも言い切れないか
• guess: お題そのものの名前を挙げて当てようとしているか
• meta・not_question・about_game・chitchat: 文字や読みについての質問か、はい・いいえで答えられない発言か、ゲームそのものについての質問か、雑談か。これらには5段階では答えず、決まった返事をします
• other_thing: お題とは別の、具体的なものの名前を挙げているか（猫のお題に「犬ですか？」）

5つの答えの作り方

「はい」の確率 p を、両端から 0.1 と 0.4 で区切ります。

ただ、真ん中の幅だけでは「どちらでもない」がほとんど出ませんでした。半々のもの、場合によるもの、質問がお題に噛み合わないものを「どちらでもない」として40問用意したところ、拾えたのは4問だけです。幅を広げると、はっきり答えられる質問も同じくらい巻き込みました。

そこで2つ目の問い neither で、言い切れないかを直接聞くことにしました。これが 0.4 以上で、はいの確率がはっきりした「はい」「いいえ」でなければ、「どちらでもない」にします。これで40問のうち15問を拾えるようになりました。

次のものは、Jev を呼ぶ前に決めています。

• 「猫ですか？」のように挙げた名前が、お題の名前か別名と一致すれば正解です。ただの文字の照合です。
• お題そのものを挙げて「〜に関係ありますか」と聞かれたら、「はい」です。
• 事実シートに、特定の質問への答えが書いてあれば、それをそのまま返します。

精度

10月1日に、20語・480問で測りました。どの質問にも5段階の正しい答え（ラベル）を付けてあります。ほかに、正解の発言など100件と、答えてはいけない発言56件も使いました。

• 正解の発言は、名前の照合で40件中40件を見つけました。間違えて正解にしたものは596件中0件です（もっと広い分類などの「近い別物」60件、ふつうの質問536件）。Jev の guess は、名前のリストにない呼び方を拾うための補助です。いまの閾値 0.8 では40件中39件を見つけ、間違えて正解にしたものは0件でした。
• 文字についての質問と、質問になっていない発言は、それぞれ28件中28件を弾き、ふつうの質問を弾いてしまったのは580件中0件でした。
• 測ったとき、7つの問いをまとめた Jev の呼び出しは、中央値 191ms・遅いほうから1割の位置で 253ms でした。

この数字は甘めです。ラベルは1人で付けたもので、閾値も同じデータで決めました。また、このあと決まりを足していて（下に書きます）、全体は測り直していません。

事実シートは日本語のまま

お題ごとに、日本語の短い事実シートがあります。何であるか、大きさ、材料、どこにあるか、といったことが書いてあります。これを状況に入れて渡すと、Jev はそれを読んで、英語・スペイン語・中国語・韓国語の質問にも答えます。シートは訳していません。訳したのはお題の名前だけで、「Is it a cat?」のような当てる発言を照合するためです。

ほかの言語を出す前に、新幹線と猫の2語で、それぞれの言語の質問を26問試しました。期待どおりに答えたのは25問でした。

事実シートは効きます。同じ測定で、はいの確率だけで答える方式は、シートありで完全一致 72.5%、シートなしで 61.5% でした（閾値はそれぞれに合わせています）。

費用

質問1つあたり 約 $0.00018 です（10月20日の実際の請求）。上の問いをまとめた、Jev の呼び出し1回ぶんで、入力が約4,200トークン、出力が139トークンです。10月1日には $0.00007 でした。指示に決まりを書き足すたびに、入力が長くなったためです。同じお題への同じ質問は、Jev を呼ばずに、前に出した答えを使い回します。ある1日の実際の質問276問では、22.8% が使い回しでした。

うまくいかなかったこと

「電車ですか？」 第4回のお題は新幹線でした。「電車ですか？」には正しく「はい」と答えたのですが、プレイヤーはそれで当てたと思いました。見た20人のうち5人が、この「はい」の直後に遊ぶのをやめています。「わかって答えを入れたのに反応しなくて泣いた」という投稿もありました。いまは、名前を挙げた質問に「はい」「たぶんはい」と答えたとき、「電車」は答えではありません。 と小さく添えています。これは文字の照合だけで決めていて、Jev には聞いていません。

「触れますか？」 エアコンのお題で「どちらでもない」になりました。エアコンはふだん触らないからだと思います。序盤によく聞かれる質問なので、ここがずれると、そのあとの答えが全部プレイヤーを違う方向に連れていきます。yes の問いの指示に、「形のある物は、どんなに大きくても、高い所にあっても、ふだん触らなくても『触れる』」という決まりを書き足しました。

「体重ですか？」 猫のお題で、別のものの名前を挙げた質問（「体重ですか？」「自分ですか？」「時間ですか？」）が「どちらでもない」になりました。ふつうに「いいえ」でよい質問です。問い other_thing を足して、これが 0.4 以上で、はいの確率が 0.7 以下なら「いいえ」にしました。

大きさと材料。 「冷蔵庫より大きいですか？」「木でできていますか？」のような質問は、はいの確率の向きは合っているのに、neither も高く出て「どちらでもない」に落ちていました。この種の質問だけ、neither の閾値を 0.8 に上げて、はいの確率で答えるようにしました。

プレイヤーが答えに文句を言える

10月14日から、答えに文句を言えるようにしました。毎日のお題を遊び終えたら、自分の質問を1つ選び、正しいと思う答え（いまの答え以外の4つ）と、ひとことを送れます。送れるのは、日本語の画面でログインしている人だけです。誰でも送れるようにしていたときは、質問の意味からずれた文句が多かったためです。

文句は、そのお題の事実シートと、いまの決まりで聞き直した答えを並べて見直します。1件ずつ見ているのは、この遊びを一緒に作っている Claude（コードを書く AI）で、解釈が分かれるものは私が決めます。文句が採用された人は +1、不採用だった人は −2 のスコアが付き、スコアの高い人の文句から先に見ます。

採用した文句は、そのお題・その質問の答えとして登録します。Jev に聞く前にこれを見るので、使い回しの答えを消しても変わりません。言い方の違う同じ質問にも効くように、事実シートも直すことが多いです。最初の1週間（10月14〜19日）は、42件のうち28件を採用しました。たとえば、こんなものです。

• ピアノ「売っていますか？」: どちらでもない → はい。事実シートにも「楽器店で売っている」と書き足しました。
• 富士山「天気に関係ありますか？」: → いいえ。山そのものは、天気で変わらないからです。
• 牛乳「有機物ですか？」: → はい。これを700語すべてに聞いてみたら、飲み物や、木・紙・布でできた道具の答えがばらばらでした。そこで yes の問いの指示に、化学の意味での決まりを書きました。生き物・食べ物・木・紙・布・プラスチックは有機物で、金属・ガラス・石・水・塩はそうではありません。

文句からは、プレイヤーがどこで読み違えるかも分かりました。「〜ですか？」は、それそのものが〜かを聞いています。〜に関係があるかではありません。すべり台なら、「公園ですか？」は いいえ、「公園に関係ありますか？」は はい です。いまは、文句を送る画面にこのことを書いています。

限界

答えは Jev の確率と事実シートの書き方で決まるので、ずれるものもあります。人によって答えが分かれる質問や、事実シートに書いていないことを聞かれた質問ほど、ずれやすくなります。文句で拾えるのは、そのうち、誰かがわざわざ送ってくれたものだけです。

今日のお題で遊ぶ（ログインなしで遊べます）