Harvey が 1 億トークン超の合成法律事務所をオープンソース化 — 顧客 46 社、社内成果物ファイル約 1 万点
- Harvey は架空の法律事務所をゼロから作り、266 件分の全ファイルを GitHub に公開。AI にその中から答えを探させた。
- 最強の 2 モデルは個別チェックポイントで 7〜8 割正解するが、「1 つも漏らさない」となると、正解率は 24.4% と 36.0% にまで落ち込む。
- 正解が 16 項目を超える設問では全問正解率はゼロに。一方で、難しい設問でモデルが「バカになった」わけではない。
仮想事務所、それでも規模は本物
法律 AI 企業の Harvey が、法律事務所 1 軒分の全アーカイブをオープンソース化しました。案件 266 件、Word 文書 9,288 点、総量 1.08 億トークンを GitHub に公開し、AI がその中から答えを探すための設問を 250 問用意しています。アーカイブ、設問、採点基準、スコア結果まですべて公開され、検証可能です。
なぜこのデータセットを作ったのか。実際の法律事務所では、弁護士の資料調査は非常に骨が折れます。ファイルは膨大で、重要な情報の多くに決まったキーワードがなく、検索できないからです。これまでの法律ベンチマークは「契約書と設問が与えられ、回答する」という形式で、材料がすべて手元にあり、この課題を測れませんでした。このデータセットは、Harvey の法律 AI エージェント用評価セット LAB の新しい拡張パックです。
まず、法律事務所の仕事がどう組織されているかを理解する必要があります。データ全体がこの構造に基づいて作られているからです。事務所の仕事は、顧客（誰への仕事か）と matter（その顧客への具体的な仕事 1 件）という 2 つの関係で成り立っています。46 の顧客は 15 の業務分野にまたがり、1 つの顧客が複数の matter を持ち、1 つの matter に複数の分野の弁護士が関わることもあります。
この 46 の顧客には企業も個人も含まれており、わざと多様性を持たせています。PE ファンドの求める法律サービスと、産業メーカーのそれとは全く異なります。顧客が多様であればあるほど、カバーできる業務の種類も増えます。266 件の案件には、すでに完了したものと、進行中のものがあります。
法律事務所が特定の顧客に対して行う具体的な仕事のこと。契約締結から完了までの全ファイルがこの単位でまとめられます。プロジェクト管理ツールの「プロジェクト」フォルダのようなものですが、事務所ではこれが請求単位であり、ファイルキャビネットの 1 区画でもあります。フォルダ番号は「顧客番号-連番」で、1003-00001 は 1003 番の顧客の最初の案件です。
1 つの案件のファイルにはライフサイクル全体が含まれます。受注経緯（委任）、段階ごとの進め方、途中の重要な決定、最終的な結果です。案件内部はフォルダで分類されていますが、わざと標準化していません。案件の種類、パートナーの習慣、実際の進行状況によって、フォルダ構成は案件ごとに異なります。実際の事務所もこんなもので、ファイル整理の決まりなど誰も定めていません。
各ファイルは約 1,000 トークンのスクリプトから生成
これだけの量のアーカイブを 1 つずつ手書きするのは不可能です。Harvey の方法はこうです。各案件について、まず約 1,000 トークンの「スクリプト」を作成します。そこには、どの顧客への仕事か、プロジェクトの概要、という 2 点が記されます。そして、そのスクリプトに具体的な事実を埋め込みます。細かい事実（「この契約のエスクローは 10%」「競業避止義務は 2 年間」など）もあれば、構造的な事実（「この訴訟は却下された」「和解した」など）もあります。