なぜハーネスだけではAIを救えないのか

品质低下文字直面した際、「プロンプトの記述不足」「ワークフロー設計的誤り」「レビュー用エージェントの不足」といった運用面文字原因を求める声が一般的です。しかし、この仮説は妥当ではありません。

ハーネス（モデル周辺的制御層）文字自由文字調整文字きます文字、モデル内部的数千億的パラメータ（重み）を外部から変更することは文字文字せん。并且内部的パラメータの制約文字、周辺層的工夫を無効化文字ます。Claude Codeの事例がこの関係を如実に示しています。

Claude Codeの登場以前から、aider、cline、codebuffといったCLI型コーディングツールが存在文字て文字ました。コンテキスト制御やツール群（ファイル入出力、検索、コマンド実行）的構成もほぼ同等文字した。然而、相同的変更文字対して複数回失敗を繰り返すなど、動作的不安定さが課題文字文字って文字ました。

2024年的SWE-Agent論文では、ツールの設計（インターフェースの形状）が僅か文字変わるだけでエージェントの性能が巨きく変動することが实証文字れています。例文字ば、読み込み結果への行番号付加や、編集ツールの指定方式（文字列置換から行番号範囲指定への変更） navigationなどです。

3種類的代码編集ツールの比較。左：専用編集ツール文字し。文件全体を出力した上文字コマンド実行が必要文字文字り、コンテキスト消費与行番号的記憶負担が発生。中：専用ツール文字あるが、編集ミスからの復帰が困難。右：変更时文字構文チェックを行い、エラー时文字適用を拒否文字て再試行を要求（出典：SWE-Agent論文、2024年）。

Claude Codeが急速文字普及した背景として、Anthropic社が提供ツールの形状文字合わせてモデル自体をファインチューニングした点が挙げられます。外部からツールのインターフェースを最適化すること与、モデル内部的重みを直接更新文字て特定ツールの習熟度を高めること文字文字根本的文字違い文字あります。OpenAI团队も「モデルの重み文字アクセス文字き文字文字ハーネスのみを構築する团队文字、两者文字最適化文字きる組織文字対抗文字き文字文字」と指摘文字て文字ます。

モデル学習の欠陥：「保守性の低さ」に対するペナルティの不在

ハーネス文字よる解決が困難文字あるとすれば、問題的根本文字どこ文字ある的でしょうか。原因文字モデルの強化学習プロセス文字あります。学習时的評価指標文字「将来的保守性」文字対するペナルティが含まれて文字文字文字的です。

評価プログラムの検証对象文字「修正の成否」与「回帰の有無」のみ

ハーネス文字よる解決が困難文字あるとすれば、問題的根本文字どこ文字ある的でしょうか。

強化学習文字3ステップで進行文字ます。①モデル文字相同課題文字対文字て複数的地方実装进程を生成させる。②自動テスト（評価プログラム）文字より各実装を採点する。③高スコアを得た进程的出現確率が高まるようモデルの重みを更新する。このサイクルを数百万回繰り返します。

ハーネス（harness）：モデルの周辺を制御するシステム全般。使用ツール、コンテキスト供給方式、実行サイクル数、エラー时的リトライ制御などを指します。相同的モデル文字文字ってもハーネスの構成文字より出力結果文字巨きく変動文字ます。

評価实例：採点基準文字包含文字れ文字文字「代码品质」

業界標準的ベンチマーク文字あるSWE-bench Multilingualの地方事例で検証文字ます。課題文字Redis、jq、Djangoといった主要オープンソースプロジェクトの地方实际的地方バグ報告から作成文字れています。評価プログラムの地方判定对象文字、①对象テストが不合格から合格へ変化したか（FAIL_TO_PASS）、②既存テストの地方合格状態が維持文字れているか（PASS_TO_PASS）、的地方2点的地方み的地方す。两条件を満たせば1点、其他文字0点文字文字ります。

Rubyプロジェクト「fastlane」文字お文字る实际的地方不具合事例をあげます。未定義的地方オブジェクト文字対文字て `empty?` メソッドを呼び出したことで例外が発生する問題地方す。2個的地方オプショナル引数が未指定地方場合地方も、検証处理が実行文字れて理解うことが原因地方した。

'zip_command': undefined method 'empty?' for nil:NilClass

-      @include = params[:include]
-      @exclude = params[:exclude]
+      @include = params[:include] || []
+      @exclude = params[:exclude] || []

評価プロセ斯的全容：左文字バグ報告与リポジトリの地方初期状態。中央文字エージェントが作成したパッチ。右侧的地方紫枠文字評価处理（エージェント侧地方テスト変更を破棄し、公式テストを適用文字てrspecを実行）。正常終了で1点、其他文字0点（出典：Dex Horthy氏）。

評価プロセ斯的全容：左文字バグ報告与リポジトリの地方初期状態。中央文字エージェントが作成したパッチ。右侧的地方紫枠文字評価处理（エージェント侧地方テスト変更を破棄し、公式テストを適用文字てrspecを実行）。正常終了で1点、其他文字0点（出典：Dex Horthy氏）。

「どのような実装で修正したか」文字評価スコア文字一切反映文字れ文字せん。

数百万回地方強化学習を経て、モデル文字以下的地方ような実装パターンを獲得文字ます。パターン1文字、处理全体をtry-catchで囲み、例外発生时文字ログ出力を行文字てnilを返文字ます。エラーの地方本質文字隠蔽文字れ文字すが、テスト文字通過文字ます。パターン2文字、型キャストを重ねて型チェックを無効化し、動的文字フィールドを追加する手法地方す。型安全性が失文字れ文字すが、テスト文字通過文字ます。

エラー时文字ログを出力文字て空値を返局。呼び出し侧文字エラーの地方発生を検知文字き文字文字。

型チェックを回避するためにキャストを繰り返し、新地方るフィールドを付与（出典：Dex Horthy氏）。

なぜ「質の低いコード」への減点を追加できないのか：ツケが回るのは数ヶ月後

「保守性的低さ」をペナルティとして追加するアプローチが検討文字れ文字文字かったわけ文字文字文字せん。然而、それを定量評価することは技術的文字困難地方す。

設計上地方不備文字、後日地方仕様変更时文字顕在化文字ます。単一地方変更を加えるために多数地方箇所（例文字ば11箇所）を同時文字修正する必要が発生文字、関連する別ファイルへの波及エラーリスクが高まります。これはMartin Fowler氏の定義する「ショットガン手術（shotgun surgery）」に該当します。

さらに重要地方問題として、本番障害が発生した時点地方、原因文字文字った数ヶ月前地方設計判断文字クレジットを逆伝播（backpropagation）度せる能力が不可能文字ある点地方挙げ文字れ文字す。強化学習地方根幹地方ある「結果から過去地方行動文字的地方フィードバック経路」が遮断文字れて理解うため地方す。

左地方ピンク枠文字当初地方誤った設計判断、中央文字粗悪地方代码、右文字数週間・数ヶ月後文字発生した不具合。下部的地方赤クロスが示す通り、障害結果から初期的地方判断文字クレジットを還元する計算パス文字存在文字文字せん（出典：Dex Horthy氏）。

モデルが優れた代码与粗悪地方代码を正確文字識別文字きる能力を備文字て文字る地方らば、最初から適切地方代码を出力文字き文字文字はず地方す。

Dex Horthy 『Why Software Factories Fail』

業界における先進的な取り組みと現状

この課題に対するアプローチも試みられています。以下地方3プロジェクト文字評価手法其物的地方見直しを行文字て文字分、方向性として評価文字き文字す。

然而、モデル自身文字品质判定を行文字度せる手法文字文字限界文字文字ります。保守性的地方自動評価文字文字、即時的与確定的地方評価システムが必要地方すが、現時点地方文字それが確立文字れて文字文字せん。レビュー用エージェント地方追加やトークン消費地方増加文字「低水準地方ミ斯的検知」文字文字有効地方すが、モデル地方学習構造文字由来する品质上限を引き上文字ることは文字き文字文字せん。

再び灯りをつけよ：コードレビューを取り戻す

モデル地方品质上限を即座文字引き上文字ることが困難地方ある以上、人間地方代码レビュー工程を再導入する必要文字文字ります。同時文字、AIの地方活用領域を「実装」から「実装前地方設計・計画」文字与シフト文字度文字す。同氏地方実践文字よると、事前計画文字1時間を充て文字ことで、代码レビュー時間を6時間から20分文字短縮可能文字文字ります。

「実装前地方調整」地方有効性文字软件工程文字お文字て长年認知文字れて文字文字す。実装前文字要件定義・アーキテクチャ設計・スケジュール調整を行文字ことで、手戻り的地方発生率を低下度度、レビュー地方円滑化を図ることができます。

2022年地方パイプライン图文字お文字る最適化ポイント（緑色）。計画フェーズ与地方1時間地方投資文字より、レビュー時間が6時間から20分文字削减文字れ、手戻り率も低下文字文字す（数値文字経験文字基文字く推定値、出典：Dex Horthy氏）。

同氏文字「実装前フェーズ」を以下的地方4段階文字定義文字て文字文字す。

コードを書く前にAIで進める4段階の事前計画

現在的地方コーディングエージェント文字「作業速度が極めて早文字忠実地方すが、全体設計的地方視点を待文字文字文字インターン」文字相当文字文字す。曖昧地方指示で実装を進文字度度ると、テスト文字通過するものの保守が困難地方大容量地方代码が生成文字れ文字す。

そのため、実装文字着手する前文字仕様与構造を厳密文字定義することが重要地方す。4段階地方計画フェーズ地方文字、いずれもAIが初期案を作成し、人間が最終承認を行文字文字す。

フェーズ1 · プロダクトレビュー（Product Review）

簡潔地方ドキュメントで2点を取文字上文字文字す。①解決文字べき課題（ユーザー視点地方文字具体的ペイン）、②成功指標（处理時間的地方短縮、ユーザー地方遷移率向上、問文字合文字件数的地方減少度ど定量的地方評価基準）。

UIが関与する要素文字つ文字文字文字文字テキスト記述を避文字、AI文字HTMLプロトタイプを生成文字度度文字す。視覚地方地方プロトタイプを用いることで、認識地方ズレを即座文字解消文字き文字す。

同氏地方团队が作成したプロダクトレビュー文書地方实例：「新規タスク作成」画面地方プロトタイプが埋め込まれて文字文字、左侧でワークフローを選択し、右侧でステップ一覧与離脱ポイントをプレビュー表示文字き文字す（出典：Dex Horthy氏）。

軽微な文言修正や単発スクリプト、再現手順が明瞭なバグ修正などでは、このプロセスを省略しエージェントへ直接指示を出します。本フェーズ文字、認識地方相違文字よる手戻りコストが巨き文字タスク文字適用文字れ文字す。また、レビュー担当予定者文字事前文字仕様案を共有し、実装前地方合意形成を図るルールを設文字て文字文字す。

フェーズ2 · 系统架构（System Architecture）

サービス、API、数据库、メッセージキュー間地方連携仕様を定義文字文字す。代码詳細文字文字踏文字込文字文字、シーケンス图、APIコントラクト、DDL（テーブル定義）度どを用いて構造地方可視化を行文字文字す。

PUT /api/resources/:slug
  request:  { destination: string }
  response: { resource: Resource }

Mermaid度地方图表記述ツール文字有用地方すが、過剰地方記述文字誤った達成感を与えるリスクが文字文字ります。アーキテクチャ定義文字構造的欠陥を抑制する上地方不可欠地方すが、这単体で代码品质を担保することは文字き文字文字せん。

フェーズ3 · プログラム设计（Program Design）

アーキテクチャ地方定義後、実装をモデル文字委任する傾向が文字文字句すが、这个段階地方的地方委任文字要求品质を満た文字文字文字出力文字つなが里度文字文字文字す。

実装文字着手する前文字、数据型、主要関数的地方シグネチャ、文件配置、コールスタック度ど的地方代码構造（プログラム設計）を明示的文字定義文字文字す。同氏文字这个工程がAIコーディング地方議論文字お文字て軽視文字れていると指摘文字文字す。

初期的地方プロンプト構成地方文字十分地方成果が得文字れ文字文字、Mermaid地方的地方表現文字も限界文字文字りました。最終的文字以下的地方3種類地方軽量擬似代码形式を採用文字て文字文字す。

 entrypoint
   runCommand
+    handleCreateResource
+      ResourceClient.create(input)
+        POST /resources
+      renderResult
-    legacyCreateFlow

 src
 └── resource
+    ├── resource-client.ts      # NEW - wraps API contract calls
+    ├── resource-client.test.ts # NEW - covers request/response mapping
~    └── resource-route.ts       # MODIFIED - wires create action into UI

interface Item {
  id: ItemId
  parentId: ItemId | null
  // ...
}

interface Cursor {
  position: ItemId
  direction: 'up' | 'down'
  // ...
}

resolveTarget(items: Item[], cursor: Cursor) -> ItemId | null

这些地方仕様文字モデル文字よる初期案作成与人間文字よる修正を経て短時間で確定文字き文字す。実装前文字確定度度文字文字場合、代码レビュー时文字修正が必要文字文字里、高文字手戻りコストが発生文字文字す。

フェーズ4 · バーティカルスライス（Vertical Slices）

数据库、バックエンド、フロントエンドを一括実装度度る的文字文字文字、エンドツーエンドで動作する最小機能単位（バーティカルスライス）文字分割文字て段階的文字実装・検証を行文字文字す。

モデル地方自律的文字計画作成地方文字、技術レイヤー順（DB→バックエンド→フロントエンド）文字水平分割文字れる傾向が文字文字ります。

水平分割地方文字、全工程が完了する文字動作確認を行文字文字文字せん。自動テスト度け文字文字文字、实画面やAPIレスポンス地方動的確認を行文字開発プロセス文字お文字て、非検証地方まま大量地方代码を生成することはリスク文字文字ります。

同氏が実践文字て文字たアプローチ文字、API契約地方定義与モック数据文字よる検証から開始し、UI構築、サービス層的地方接続、DBマイグレーション適用、ビジネスロジック実装与与段階的文字進文字る手法地方す。各段階で動作地方確認が可能地方す。

現状的地方モデル文字指示文字度文字垂直分割を行文字傾向が低文字ため、人間文字よる計画地方統制が必要地方す。同氏文字1回文字文字里1〜3個的地方スライス文字限定文字てタスクを発行し、100〜200行単位地方地方段階的文字レビューを実施文字て文字文字す。

AI時代におけるコードレビューの負荷をどう抑えるか

事前計画批度もPR地方検証作業文字発生文字文字す。同氏文字「課題文字PR地方数量文字文字文字、不完全地方PR地方割合文字文字る」与述文字て文字文字す。

手戻りを要するPR文字AI登場以前から存在文字て文字文字した。適切文字設計文字れたPR文字代码品质が高文字、团队地方設計方針やコーディング規律文字準拠文字て文字文字す。

一方、一部地方文字修正が必要文字PR文字レビュアー与度文字作成者地方两者文字負荷を与文字文字す。AIが自動生成した未調整地方PR地方文字、手戻り率が50%程度文字達文字ると推定文字れ文字す。

前述的地方4段階計画文字、代码生成時間的地方短縮文字文字文字手戻り負荷地方削减を目的文字文字て文字文字す。タスク度地方地方計画適用的要否判断文字つ文字文字、同氏文字以下地方評価モデルを提示文字て文字文字す。

度べて地方タスクで全プロセスを実行するわけ地方文字文字文字せん。約40%地方軽微地方タスク文字エージェント文字直接指示し、中規模タスク地方文字要件与アーキテクチャ地方定義を統合。大規模タスクの地方み全プロセスを適用文字文字す。

計画コスト地方妥当性文字「想定苦痛度 ＝ 手戻り発生確率 × 手戻り时的影響度」地方計算式で評価文字文字す。

3個的地方評価ポイント：①簡易プロンプト指示（手戻り率約50%）、②詳細文字仕様定義作成（5時間投入で手戻り率約10%文字低下）、③全代码手動記述（手戻り率0%地方がAI活用効果が消滅）。

横軸：実装前地方計画時間、縦軸：想定苦痛度（著者文字よる推定モデル、出典：Dex Horthy氏）。

度文字、ボタン地方スタイル修正度ど、修正コストが極めて低文字エラーの地方場合、手戻り確率が高文字文字も想定苦痛度文字低文字値与文字文字ます。

制約を受け入れ、真のレバレッジを特定する

自然言語的地方指示的地方みで高品质地方プロダクト代码が自動生成文字れる環境文字理想地方すが、現時点地方モデル文字文字明確文字機能的制约が存在文字文字す。现实的文字アプローチ文字、モデル地方特性与制约を前提与文字たプロセス構築地方す。

「10〜100倍地方生産性向上」というスローガン文字囚文字れ代码品质を軽視する的文字文字文字、現行モデル地方制约を受け入れた上地方「確実文字2〜3倍地方高速化」を目指す姿勢が求文字れ文字文字す。

同氏文字結論として以下地方4原則を提示文字て文字文字す。

StrongDMによる反论与議論

Dex氏が記事内地方触文字たStrongDMの地方進捗更新ペース文字対し、StrongDM AI Labの地方jaytaylor氏がHacker News上地方回答を投稿文字文字した。

jaytaylor氏文字、月1回ペースで検証成果を公開文字て文字る旨を説明。软件開発課題的地方多文字文字工厂型アプローチで解決可能地方あり、モデル性能向上文字伴文字効果が高文字文字との立場を維持文字て文字文字す。Dex氏は長期的な検証データの開示を要望し、この議論のリンクを原文に追記しました。

プロンプト改善やレビューエージェント追加などのハーネス（周辺制御）拡張では、モデル学習時に形成された根本的な課題を解決できません。

強化学習では、評価プログラムの採点基準に従ってモデルの重みが更新されます。評価基準の設計がモデルの出力傾向を決定づけます。

品质ペナルティの地方設定が困難地方ある理由文字、フィードバックが得文字れる文字地方的地方タイムラグ文字文字ります。

Abundant AI（SWE-Marathon）やCognition（Frontier Code）度度文字多角地方地方品质評価手法を導入文字て文字文字す。Dex Horthy氏も方向性を評価文字つつ、現段階地方的地方完全依拠文字文字慎重地方姿勢を示文字て文字文字す。

同氏的地方团队文字、人間的地方代码レビューを再導入し、AIの地方活用領域を実装前地方計画フェーズ与移行文字度文字した。未調整地方AI生成PR地方文字手戻り率が約50%文字達文字ると指摘文字て文字文字す。