乱数をひとつ言わせれば、回答分布から正体が割れる

プラハ経済大学の Tomáš Bruckner 氏が考えたのは巧妙な方法です。AI に乱数をひとつ言わせ、その答え方だけを見て正体を突き止めます。

使うのは AI の有名な欠点。本当の乱数が言えないのです。1 から 100 で適当に選ばせても、返すのは決まった 1〜2 個。しかも「口癖の数字」はモデルごとに違います。GPT-4o は 42 を最も好み（37 と 57 もよく出る）、Claude Sonnet 5 はほぼ 47 一択、Llama 3.3 は 53 に固定。Qwen3-Max はさらに極端で、30 回のサンプリング全部が 42 でした。従来はこれを欠陥と捉えて直し方を研究してきましたが、本論文は発想を反転させ、指紋として使います。

4 モデルの分布を描くとこうなります。

同じ質問に対する 4 モデルの回答分布（英語、温度 1.0、各 30 回サンプリング）。GPT-4o は 42・37・57 に確率が分散し、42 が最大の約 0.44。Claude Sonnet 5 はほぼ 47 に集中、Llama 3.3 はほぼ 53 に集中、Qwen3-Max は毎回 42。出典：arXiv:2607.10252 Fig.1

この偏りの度合いは数値化できます。165 モデル × 40 問をマス目に分解すると、有効回答が 10 回以上あるマスは 6572 個。そのマスでの回答の中央値エントロピー答えの当てにくさ。1 bit はおおよそ、答えが2つの選択肢の間で揺れている状態に相当しますはわずか 1.00 bit。真の乱数なら 6.64 bit になるはずです（「1 から 100」の問題での計算）。各マスでモデルが最も好む答え（数字の問題に限らず、乱数の単語／色／都市でも同様）は、通常 7 割の回答を占めます（占有率の中央値 0.71）。

同じ重みが、カタログでは複数の名前でぶら下がる

手を動かす前に整理が要ります。測っているのは何なのか。アグリゲーターのカタログでは、名前と重みは多対一。同じ重みが複数の名前で同時に並びます。ローリング更新の -latest、日付入りスナップショット、無料枠、思考モード枠、高速枠、ロングコンテキスト枠。

そこで論文は 3 層に分けて語ります。チェックポイントは具体的な重み一式で、指紋はこれに紐づく。エンドポイントは「あるチェックポイントへ通じると自称する」サービス経路。ファミリーは同じ祖先から派生したチェックポイント群。検証が問うのは「エンドポイントが出すのは自称どおりの重みか」、系統判定が問うのは「この重みはどの家の出か」。あなたが買った名前そのものは、何も保証しません。

1 文字になぜ身元情報が乗るのか

この分布には 4 つの層が重なり、それぞれが痕跡を書き込んでいます。

ここで疑問が浮かぶはずです。温度 0 なら同一プロバイダー内で 90.4% の問題は毎回同じ答えなのだから、温度 0 の答えを 3 回聞いて比べれば済むのでは。理由は 3 つあります。各社の「無難な答え」は衝突しやすい（どちらも 42 なら区別できない）。プロバイダーをまたぐと温度 0 の決定性が 84.5% に落ち、単一点そのものが不安定。そして分布全体の情報量は 1 点をはるかに上回る。だからこそ「乱数を言わせて」繰り返す必要があります。

なぜ量子化や蒸留はこの質問から逃げられないのか

量子化は重みをより低い精度へ丸めること、蒸留は大きなモデルを教師にして小さなモデルに肩代わりさせることです。まず量子化から。モデルが自信を持つ問題では、この程度の誤差では選ぶ答えは変わらないので、ベンチマークにはほぼ表れません。しかし候補が拮抗している場面では、その誤差だけで順位が入れ替わります。

そして「乱数をひとつ言って」は、まさにそういう問題です。口癖の数字はどれも成立し、多い少ないに正解はなく、すべては微妙な確率配分次第。指紋が読むのはこの配分比です。

「似ている」を、比べられる数値に変える

1 問だけでは心もとない。2 つのモデルがたまたま両方 42 を好む可能性は十分あります。そこで問題集は 10 問、それぞれ 4 言語で聞いて計 40 問です。

なぜ 10 問なのか、なぜ 4 言語なのか

論文はこの 3 点にそれぞれ一文の理由を付けています。以下はその展開です。

閉じた問題と開いた問題は役割が違います。コイン投げは答えが 2 つ、1〜10 なら 10 個。全モデルが同じ選択肢群から選ぶので、比べるのは細かな配分です。ただしどれだけ違っても、コインの選択肢は 2 つきり。差には上限があります。開いた問題（ランダムな単語・都市・動物）は答えに際限がなく、2 モデルの答えがひとつも重ならないこともあり、距離は一気に振り切れます。片方は近縁の間の微差を掘り出し、もう片方は無関係なモデルを一気に引き離す役です。

「ランダム」と「好きな」は別の問題です。乱数を聞くのは抽選機として使うこと。好きな数を聞くのはキャラクター設定を問うことで、その設定は後段の調整で形づくられます。2 モデルで乱数は衝突しても好きな数は分かれることがあり、この 1 組は次元をひとつ余分に稼ぎます。

言語を変えると、別の記憶を掘ることになります。中国語コーパスで「適当に都市を言って」の定番の答えは、英語のそれとは違う。だから 4 言語は、4 つの断面からそれぞれ信号を採ることになります。裏を返せば、なりすます側は 4 言語ぶんの癖を全部合わせなければなりません。

2 つの分布表の隔たりを、ひとつの数値で表す

2 つの分布表の隔たりは、Jensen-Shannon ダイバージェンス2 つの回答分布表の隔たりを測る指標で、値は 0 から 1。対称で、共通する答えがひとつもなくても計算できますで 0 から 1 の数値に畳みます。選んだ実務的な理由は、2 モデルの答える都市がひとつも重ならなくても意味のある距離が出ること。開いた問題にはこれが要ります。2 モデルの総距離は、双方に十分なサンプルがある問題での平均です。

1 問単位では、同じモデル同士の比較が 0.075、異なる 2 モデル間が 0.489（基準に注意：これは 1 問での数値で、以下の 40 問平均の物差しと直接は比べられません）。平均を取ると、これが物差しになります。

プロバイダーを変えても指紋は通用するのか

先に答えるべき致命的な問いがあります。プロバイダーを変えたら指紋も変わるのでは。もしそうなら、測っているのはインフラであってモデルではありません。OpenRouter がちょうど自然実験の場を提供してくれました。165 モデルのうち 31 が 2 社以上に同時掲載され、サンプルも十分。直接比較できる 34 ペアが揃い、各ペアに最低 15 問の共通問題があります。

結論として、指紋はプロバイダー変更の関門をおおむね突破しました。突破できなかったのは計 10 ペア。最も目立つ 2 ペアは、後の「健診結果」の節で詳述します。

身元健診 1 回にいくらかかるか

「このエンドポイントの中身は本物か」を調べる手順は全部で 4 段階です。

採点方法は指紋認証と同じ発想です。「本人テスト」は同一モデルのサンプルを 2 分割して互いに比べ、「なりすましテスト」はモデル A の半分とモデル B の半分を比べます。本人 165 組、なりすまし 27060 組を走らせ、40 問フルセットで AUC 0.971、等誤り率「無実を疑う」と「不正を見逃す」が同数になる位置に閾値を合わせたときの誤り率。7.3% は約 14 回に 1 回の誤判断に相当は 7.3% でした。

検証の ROC 曲線。見方は、曲線が左上へ寄るほど良く、真ん中の対角線が当てずっぽうの水準。この線はほぼ左の壁に貼り付いて上がっており、曲線下面積は 0.971。出典：arXiv:2607.10252 Fig.3

問題数を減らすと精度はどれだけ落ちるか

等誤り率の問題数による変化。縦線はランダム抽出の部分集合による変動幅。曲線は 16〜24 問を過ぎるとほぼ横ばいで、これ以上増やしても精度はあまり買えません。出典：arXiv:2607.10252 Fig.4

1 問だけでも当てずっぽう（50%）を大きく上回ります。16 問 × 各 15 回で計算すると、1 回の監査は 240 クエリ・約 1.6 万入力トークン。通常価格のモデルなら 1 セント未満、フラッグシップでも数セントです。

指紋は、そのモデルの出所も見抜ける

同一モデルの指紋は近い。では同一ファミリーのモデルはどうか。165 モデルの総当たり距離を計算し、近いもの同士を機械に自動でまとめさせる（クラスタリング）と、答えは「近いが、それほど当てにはならない」。論文の中では弱めの結果で、主な価値は次節の事例の参照枠になることです。

165 モデルを指紋の平均距離でまとめた樹形図。葉のラベルは文書で裏の取れたファミリーごとに配色。同じ色が大きく固まっている箇所が、指紋の見抜いたファミリーです。出典：arXiv:2607.10252 Fig.2

アルゴリズムは「1 つ隠して当てる」方式。各モデルを順に隠し、最も近い隣がどの家かを見て、それを答えとします。同一ファミリーの仲間がいる 163 モデルでの正答率は 59.5%、当てずっぽうのベースラインは 18.4% で、3.2 倍の水準でした。

弱い面も見えています。この樹形図から 19 の境界のはっきりしたファミリー圏を自動で切り出せるか。切り出せません。原因の多くは指紋側にありません。ラベルには互いに無関係な 17 ベンダーのモデルを詰め込んだ「other」の雑多なくくりがあり、単独ファミリーも多数。そもそも塊になりようがなく、論文自身も想定内としています。「最も近いのは誰か」を見れば系統は分かるが、全体の区分けとしては見えない、ということです。

適合率は「そのファミリーと判定したうち、実際に正しかった割合」。再現率は「そのファミリーの構成員のうち、見つけ出せた割合」です。GLM の行は適合率 1.00 で、GLM と判定したものは全部正解。Llama の行は注目に値します。適合率 0.88 は悪くないのに再現率は 0.58 しかなく、Llama 一族のほぼ半数が自分の陣地にいないことになります。次節にその 1 つが登場します。

なお 59.5% は下限値です。採点の正解は公開文書のファミリー表記に依るので、文書が間違っていれば、指紋が実は正しい親戚を見つけていても減点されます。逆方向の誤りは起こりません。したがって実力は 59.5% を下回らないはずです。

今回の健診で何が見つかったか

物差しを実際のエコシステムに当てると、いくつも辻褄の合わないエンドポイントが出てきました。先に断っておくと、これらは統計上の不一致であり、誰かの詐欺を告発するものではありません。重みの更新、ライセンスを得た量子化、キャッシュ層。いずれも無実の説明になり得ます。

いくつかのエンドポイントは、指紋が自称する身元と合わない

無実の説明も実在します。Qwen をベースに自社モデルを学習させること自体は完全に合法です。その清廉な例がすぐ隣にあります。

deepcogito/cogito-v2.1-671b は DeepSeek V3 ベースからの学習だと明記しており、指紋上で最も近い 3 つの隣がちょうど全部 DeepSeek のチェックポイント（0.268〜0.308）。指紋と公開された系統が一致しています。xiaomi/mimo-v2.5-pro と inclusionai/ling-2.6-1t も Qwen 近傍にしっかり収まりました。

この 2 組の数字を並べて初めて違いが見えます。明記された合法な派生モデルとベースとの距離は 0.27 前後で、これは「親戚」の距離。palmyra の 0.141 は 0.140 のノイズ床に貼り付いており、「本人」の距離です。片方は床から大きく浮き、片方は床に接している。論文は告発しない姿勢を保ち、数字だけを置いています。どう読むかはあなた次第です。

もうひとつ、痕跡が消されたケースもあります。nvidia/llama-3.3-nemotron-super-49b-v1.5 は文書上 Llama-3.3 の派生ですが、指紋は Qwen（0.303）の方がどの Llama よりも近い。後段の学習が十分に強ければ、出自は覆い隠されます。前節で Llama の再現率が 0.58 しかなかった一因はここにあり、指紋による系統判定の天井でもあります。

同じモデルなのに、2 プロバイダー間の差が別モデルより大きい

「同一モデル・2 プロバイダー」の 34 ペアのうち、10 ペア（29%）は差が「異なる 2 モデル」の範囲に入っていました。同じモデルが 2 つのインフラから出てくると、別のモデルに変わったほどの違いが出るということです。

2 行目の数字を単独で見てください。同じベンダー、同じモデル名、どちらも公式といえる 2 経路（Azure と OpenAI 純正エンドポイント）で、距離は「異なる 2 モデル」の中央値に迫っています。1 行目がなぜ 0.716 まで開くのか。論文は結論を出していません。ただしアグリゲーター自身は、上流各社の量子化の程度が揃っていないと認めたことがあります。

ついでに見つかった、3 つの不可解な事実

回答の中身を見るだけでは絶対に気づけない仕掛けもあります。トークン単位で帳簿を付けて初めて露見しました。この 3 点はおまけではなく、どのエンドポイントをサンプルから外すかを直接決めています。

1 点目はそのまま除外基準になりました。その数十トークンが隠された思考ではないと証明できない以上、この種のエンドポイントはすべて外すしかありません。判断は実測の挙動だけを採り、エンドポイントの自己申告は採りません。申告が当てにならないことは、すでに証明済みだからです。

これらの発見は「まずベンダーへ非公開通知」という手順を踏んでいません。著者の理由は、これは修正を待つセキュリティ脆弱性ではなく、公開しても誰かが新たな攻撃手段を得るわけでもないから。説明責任は生データの全面公開で果たします。各リクエストのタイムスタンプ、プロバイダー、生成 ID がすべて含まれており、名指しされた側も第三者も、自分で再検証し反論できます。

プロバイダーが賢くなったら、この手法はまだ効くのか

プロバイダーが学習して対抗し始めたらどうなるか。取れる手は 3 段階あり、この手法の効き目は段階ごとに違います。

T2 に対抗できる根拠は、問題集に固定の合言葉がないこと。「ランダムな色を言って」「ランダムな都市を言って」は一句ではなく一群の言い回しです。無限に言い換えられ、無限に翻訳でき（4 言語ですでに一巡）、監査時にその場でランダム抽出し、通常トラフィックに混ぜて送ることもできます。

監査トラフィックを選り分けようとすれば、プロバイダーは膨大な通常メッセージの中から「モデルに何かひとつ言わせる」小さな質問を漏れなく見つけ出し、本物のモデルへ回さなければなりません。絞りすぎれば監査トラフィックを取り逃がして結局露見し、緩めれば日常トラフィックの大部分を本物で処理することになり、無駄な出費になります。どちらに転んでも損です。論文の表現は「検出のコストが非常に高い」で、具体的にどれほど高いかは測っていません。もうひとつ塞がれていない穴もあります。同種の問題を言い換えても指紋が安定するかどうかは、今後の課題として実験が残されています。

T3 の計算はカードの中で済んでいます。そこまで模倣するなら素直に本物を動かすのと同じで、コストは浮きません。したがってこの手法は数学的な確証は与えられません。やっているのは「すり替えても捕まらない」を割に合わなくすること。ハードウェアで証明する路線（チップがハードウェアレベルで、確かにその重みが動いていると署名保証する）とは、ちょうど補完関係にあります。

同じ質問を繰り返すと、キャッシュに当たって結果が壊れないか

同じ文を繰り返せばキャッシュには必ず当たります。実際、リクエストの 13.4% がプロンプトキャッシュにヒットし、入力トークンの 10.1% をカバーしました。これは測定を壊すのか。どちらのキャッシュかで話が変わります。

そこで著者は応答レベルのキャッシュを専用に調べました。判定基準は、答えが 1 つに潰れていること、加えて遅延が異常に低くしかも安定していること。温度 1.0 で答えが 1 つしか出なかった問題は 2040 問（分布の集中はそもそもよくあること）で、そのうち遅延が普段の半分を下回ったのは 14 問だけ。しかもその 14 問はいずれも正常なサブ秒の範囲内で、プロバイダーの負荷変動らしく、真のキャッシュのような瞬時再生とはまるで違いました。今回、応答レベルのキャッシュは検出されていません。

この手法にできない 6 つのこと

最後に実用的な話をひとつ。この仕組みは自分で書き直す必要がありません。プロンプト原文（config/prompts.json）と、完全なサービスメタデータ付きの生の応答は公開データパックにあり、収集・分析パイプライン一式（Node.js と R）は別途アーカイブされています。どちらも文末の Zenodo リンクからたどれます。落としてきて、「コスト計算」の節の 4 段階を自分の使っているエンドポイントで走らせるだけです。

モデルの身元は、最も安価な経路から漏れ出しました。退屈な質問をされたモデルが吐き出す、たった 1 つのトークンです。 One Token Is Enough、結論章

AI には有名な欠点があります。本当の乱数が言えないのです。1 から 100 で適当に選ばせても返すのは決まった 1〜2 個で、しかも好む数はモデルごとに違う。従来はこれを欠陥として直し方を研究してきましたが、本論文は発想を反転させ、指紋として使いました。

「どの答えが何回出たか」を数えれば分布表ができ、この表が身元になります。ただし「似ている」はまだ感覚。閾値で判定するには、比べられる数値に畳む必要があります。

論文は 2 つの分布表の隔たりを 0 から 1 の数値に畳みます（使うのは Jensen-Shannon ダイバージェンス。共通する答えがひとつもなくても距離が出るのが利点）。判断はすべてこの物差しの上で行います。

40 問フルセットで誤判定率 7.3%、約 14 回に 1 回の誤り。8 問でも 10.6% です。1 回では結論を出せませんが、同じエンドポイントを毎日再検査できるほど安い。どれくらい安いか、同じ作業で換算します。