従来のやり方が根本解決にならない理由

Antidoom以前、無限ループへの対処法は主に2つの方向があり、それぞれに弱点があった。

1つ目はrepetition_penaltyを推論時に加える方法で、すでに出現した語の確率を一時的に下げるやり方だ。これは絆創膏のようなもので、再学習は不要だが、抑え方が無差別なため、正常な出力の質まで一緒に引き下げてしまう可能性がある。2つ目は強化学習（RL）で、ピンポイントでループに対処できるが、報酬設計を丹念に作り込み、高コストなオンラインrolloutサンプリングを回す必要がある。

トークン1個だけ変える、他は一切いじらない

Antidoomは修復範囲を極限まで絞り込んだ。

まず無限ループが始まったそのトークンを特定し、そこだけモデルがより首尾一貫した別の候補語を選ぶよう学習させる。語彙表のそれ以外の部分の確率分布はほぼ元のままだ。モデル全体の出力の癖は変えず、ループを引き起こす接合点だけに精密なパッチを当てる。

無限ループはどこから来るのか：3つの力の重なり

無限ループの背後では、3種類のメカニズムが同時に働いている。

メカニズム1：過剰学習された高頻度語が、モデルの迷いにぶつかる

もともと選ばれやすい語というものが存在する。業界で見られてきた例にはdelve、testamentなどがあり、合成データを使った学習によってこれらの語の出現頻度が人間の執筆よりも高く釣り上げられている可能性がある。推論モデルでは、この種の高頻度語はしばしばWait、Alternativelyといった、方向転換や検証のステップを示す接続語だ。これら自体は悪いものではなく、方針転換や検証を示すマーカーとして機能しうる。しかしモデルが詰まり、次のステップに自信を持てなくなると、これらは手っ取り早い保険的選択肢になり、同じ推論を最初からやり直してしまう。

LFM2.5-2.6Bの初期チェックポイントで、無限ループを最も多く引き起こす起点語（全ループ起点に占める割合）：

メカニズム2：上文が自己を強化する

すでに出現した文字列は、同じ文字列を後で再び出現しやすくする。繰り返すたびに、その文中の各トークンが再び選ばれる確率は雪だるま式に1へと近づいていき、止まらなくなる。Duanらの研究は、この現象を一種の「V字型」アテンションパターンと結びつけており、意味的な繰り返し（モデルが同じ考えに詰まっている状態）が字句的な繰り返しに先行して現れることも見出している。

ループ内の各トークンが再度選ばれる確率は、繰り返し回数とともに1に向かって上昇し続け、自己強化が形成される。画像出典：Liquid AI

メカニズム3：低温度サンプリングには出口がない

推論モデルは一般に非常に低いサンプリング温度で動かされ、推論プロセスの安定性と再現性を保つ。（サンプリング温度は、モデルが語を選ぶ際にどれだけ低確率の語に挑戦するかを制御するパラメータだ。温度が低ければほぼ毎回最も確率の高い語を選び、温度が高ければ低確率の語も試しやすくなる。）温度がゼロなら常に最も確率の高い語を選ぶため、いったん強化されたループには出口がなくなる。理論上は温度を上げれば助けになるはずだが、メカニズム2によってループ語の確率がほぼ1に押し上げられると、残りの語にはほとんど確率が配分されなくなり、高温にしても結局詰まってしまう。公式データでもtemp=0.67の時点で明確なループが確認されている。温度が低いほど、無限ループは深刻になる。

問題のトークンをどう見つけ、どう学習させるか

無限ループを直すには、まずそれを学習可能なデータに変換する必要がある。

やり方はこうだ。無限ループを誘発するために特別に設計されたプロンプト集（LiquidAI/antidoom-mix-v1.0）を使い、低温度でモデルの出力を大量に生成し、そこから失敗サンプルを掘り出す。ある一文が少なくとも4回繰り返され、かつ長さが60文字以上ある場合に初めて無限ループと判定する。この2つの閾値は誤判定と見逃しを同時に避けるためのものだ。ループを見つけたら、最初の繰り返しの最初のトークンを特定し、それをrejected（選ぶべきでないもの）としてラベル付けする。この位置でモデル自身が出したtop-k候補を取り、短すぎるものや英数字以外のノイズを取り除き、最大20個の妥当な代替語をchosen（より良い選択肢）として残す。学習データはこうした三つ組——上文、1個のrejectedトークン、1個以上のchosenトークン——として構成される。

無限ループ学習データのサンプル。失敗した出力から最初の繰り返しの起点トークンを特定し、rejectedとしてラベル付けする。画像出典：Liquid AI

学習の前には、rejectedとchosenの分布に正則化処理を施す必要がある。そうしないとWait、So、theといった高頻度語が学習全体を支配してしまい、かといってこれらを抑え込みすぎると今度はモデルの推論能力自体が損なわれてしまう。

FTPOとDPOの違い

FTPO（Final Token Preference Optimization）はDPOに似た偏好最適化アルゴリズムだが、設計の当初から「トークンをごくわずかだけ動かし、モデルのそれ以外の部分をできるだけ揺さぶらない」ことを目指している。DPOと比べて4つの違いがある。

どれくらい学習するか、いつ止めるべきか

この学習の規模は、意外なほど小さい。

LoRAによる微調整（大規模モデルにパッチを当てるような微調整手法で、全パラメータを再学習せず、新規に挿入した一部のパラメータだけを学習する。低コストで元のモデルへの影響も小さい）を用い、通常は1エポックしか回さない。経験上、LoRAのrankを128から256に設定するのが最も効果的だ。より柔軟に学習しつつ副作用も小さく抑えられる。学習範囲は全アテンション層、MLP層、加えてlm_headをカバーし、学習率はおおむね4e-6から2e-5の間だ。

いつ止めるべきか？chosen_winという指標を早期停止の判断基準として使う。これは無限ループの起点位置において、モデルが元の（ループを誘発しやすい）語ではなく「より良い代替語」を選ぶ割合をどれだけ増やせたかを測るものだ。chosen_win=0.35あたりで止めれば、通常は無限ループ発生率を20〜30%から1〜2%まで下げられる。学習しすぎると、逆に別の場所で新たな無限ループを生み出してしまう。

コストはどれくらい低いのか。LFM2.5-2.6Bの初期チェックポイントを例に取ると、学習セットの生成に約1時間（MI325 GPU 8枚）、学習自体に約1〜2時間（MI325 GPU 1枚）かかる。生成段階は2万組のサンプルが集まった時点で打ち切る。

コードはすでに公開済み、自分で再現できる

この手法は完全にオープンソース化されており、誰でもそのまま再現できる。

生成、検出、FTPOトレーナーの一式コードはすべてGitHub（Liquid4All/antidoom）に置かれており、READMEには完全なハイパーパラメータ選定ガイドが付属している。使用されているプロンプトデータセットLiquidAI/antidoom-mix-v1.0は純粋なプロンプトのみで構成され、標準解答、推論プロセス、隠しテスト、正解ラベルは意図的にすべて除外されている。役割はあくまで無限ループを誘発することにあり、新しい知識を教えることは一切ない。

つまり、推論モデルを手元に持つチームなら理論上、自分のモデルに対して同じ流れをそのまま再現でき、事前学習をやり直す必要はない。環境を整えれば、「生成+学習」の完全な流れが一行のコマンドで完了する。

git clone https://github.com/Liquid4All/antidoom
cd antidoom
uv sync

uv run antidoom -c configs/default.yaml -r runs/antidoom1 \
  --temp 0.01 \
  --model-name LiquidAI/LFM2.5-1.2B-Base

NVIDIA専用というわけでもない。AntidoomはAMD Instinct MIシリーズGPU（ROCm環境）でも同様に動作し、Nvidia GPUを持たないチームにも道を残している。

結果：2つのモデルとも無限ループ発生率を約1%まで抑え込んだ

2つのモデルとも学習後、無限ループ発生率が1%前後まで下がった。

LFM2.5-2.6Bの初期チェックポイントは10.2%から1.4%まで低下し、評価スコアも全面的に向上した。この向上はすべて無限ループの減少に由来する。学習セット自体は新しい数学やコードの知識を一切教えていない。ただ、モデルと答えの間にずっと立ちはだかっていた障害物を取り除いただけで、モデルはもともと自力で到達できたはずの答えにたどり着けるようになった。Qwen3.5-4Bはさらに効果が大きく、greedyサンプリング下で22.9%から1%まで低下し、評価スコアも大幅に上昇した。

学習前後の無限ループ発生率の比較。画像出典：Liquid AI

意外な発見：温度は高ければ高いほど賢いわけではない

学習の過程で、直感に反する結果もついでに浮かび上がってきた。

業界にはずっと「推論モデルは比較的高いサンプリング温度を使うべきだ、そのほうがより広い範囲でさまざまな解法を試せる」という説がある。しかしAntidoomで学習したモデルは、temp=1.0でむしろ性能が落ちた。理由はさほど複雑ではない。学習前は、低温域のスコアがずっと無限ループに足を引っ張られていた。いったん無限ループが取り除かれると、greedyサンプリングに近い低温域のほうがむしろスコアが最も高くなる。これまでの「高温度のほうが良い」という経験則は、実は高温度によって無限ループが部分的に覆い隠されていた効果を、温度そのものの利点だと誤解していた可能性が高い。

2つのモデルはどちらも同じパターンを描いている。学習前は、低温域のスコアが無限ループに引っ張られて低くなり、学習後は低温域が最も良く、temp=1に近づくとやや低下する。

LFM2.5-2.6B初期チェックポイント：評価スコアがサンプリング温度によってどう変化するか、学習前後の比較。画像出典：Liquid AI

Qwen3.5-4B：同じパターンが見られる。低温域で恩恵が最も大きく、temp=1に近づくと学習後はやや低下する。画像出典：Liquid AI

実践では複数回のAntidoomを行うこともできる。1回目でループを起こしやすい語を抑え込んだ後、別の箇所で新たな問題が露呈することがある——それまで目立たなかった一部のトークンが新しいループの起点になってしまうのだ。もう1周回すことで、この新たに現れたループにピンポイントで対処し、無限ループ発生率をさらに押し下げることができる。

Liquid AIは2026年7月7日、無限ループを専門に直す学習手法Antidoomを発表しオープンソース化した。

それ以前は2つの道しかなかった。推論時にrepetition_penalty(すでに出現した語の重みを一時的に下げるスイッチ)を加える方法は、絆創膏を貼るようなもので、正常な出力まで一緒に引きずり下げやすい。あるいは強化学習(報酬信号を使ってモデルを繰り返し学習させる手法)でモデル全体を再学習する方法は、コストが高く報酬設計も難しい。Antidoomは発想を変えた。モデル全体は動かさず、「無限ループの起点となるその言葉1個」だけを学習する。

でも言葉1個変えるだけで、なぜ症状が治るのか？まず無限ループがどこから来るのかを見てみよう。

無限ループはランダムな不具合ではなく、3つの力が重なって生じるものだ。

①一部の高頻度語(the、So、Waitなど)は、モデルが詰まって次の一歩に確信が持てないとき、手っ取り早い「保険的な選択肢」になる。②繰り返すたびに、この一文が再び選ばれる確率が1に近づいていき、自己強化される。③推論では低温度サンプリング(ほぼ毎回、確率が最も高い語を選ぶ)がよく使われ、ループがいったん形成されると出口がなくなる。Antidoomがやっているのは、文全体をループに引き込んだその最初の言葉を見つけ出し、その1マスの確率だけを再学習し、より首尾一貫した代替候補にいくつか振り分けることだ。それ以外の数万語はそのままにする。

小互が難しい数学問題をモデルに解かせているところを想像してほしい。すでに「Wait」を十数回繰り返し、コンテキストがもうすぐ焼き尽きそうな場面だ:

一般の人にも実感しやすい言い方にすると: 難問100問を解かせたとき、無限ループに陥って計算資源を無駄に焼き尽くしてしまう問題数だ。