プロンプトから「不要な一文」を削除したら、3日後に出力が悪化していた件：プロンプト版管理ガイドが重要な理由

プロンプトの劣化はアラートも出さないし、目視でも見抜けない

同じ「壊し方」をしても、コードとプロンプトでは大きく違います。それは、壊れた後に誰かが教えてくれるかどうかです。

根本的な違いはこれです。プロンプトは自然言語なので、どれだけ不完全に書き換えても、モデルはそれなりにテキストを返してきます。エラーも失敗のシグナルも出しません。だから突然壊れるわけではなく、「ほんの少しずつ」悪くなっていき、その蓄積が「ユーザーが気づくレベル」に達した時、初めて顕在化します。

では、デプロイ前に出力をいくつか目視確認すればいいのでは？ 肉眼で捉えられるのは、明白なエラーだけです。エラーメッセージが返る、フォーマットが完全に崩れる、的外れな答えが一目瞭然、といった類い。品質の劣化は捉えられません。理由は2つ。出力は依然として「もっともらしい回答」であり、ただ悪くなっているだけだからです。そして、あなた自身が期待を持って見ているので、「このプロンプトは何を言うべきか」を知っていて、読んだ内容をすべてその方向に当てはめてしまうからです。本当の劣化は、多数の実ユーザーが多様な質問をして初めて表面化します。そして、その時の形こそがサポートチケットなのです。

1018件のプロンプト採点 → 最も低いのは「想定外の入力への対応」

これは一人のミスではありません。1018件のプロンプトを採点したところ、同じ問題がそこら中に見つかりました。満点は100点で、4つの項目に分かれています。この4項目自体が、「プロンプトがどこで劣化しうるか」のチェックリストです。