TencentがWeChat発のエンドツーエンド文書解析モデルWeVisDocをオープンソース化、画像1枚からMarkdownを直接出力

Tencent の WeChat Vision Team は、2B と 4B の文書解析モデル WeVisDoc をオープンソース化しました。文書ページの画像を1枚入力すると、数式を LaTeX、表を HTML として、ページ全体の Markdown を直接出力します。

WeVisDoc の主な機能と特徴

• ページ画像をそのまま Markdown に変換：見出し、本文、表、数式を先に個別切り出しせず、ページ全体を一度に処理します。
• 複雑な文書構造を保持：本文は通常の Markdown、数式は LaTeX、表は HTML に変換し、ページ上の内容から読む順序も復元します。
• 単一モデルで解析を完結：レイアウト理解、文字認識、数式認識、表の再構築を1つの視覚言語モデルで行い、別のレイアウト検出器や OCR エンジンを必要としません。
• 2B と 4B を選択可能：2B は計算資源が限られる場合や鮮明なページが中心の用途に向き、4B は撮影・再撮影された劣化ページで優位性が大きくなります。
• ローカル実行とサービス化に対応：Apache-2.0 の重みと推論コードが公開され、Transformers によるローカル実行と vLLM サービスの両方に対応します。

エンドツーエンドパースと WeVisDoc の位置づけ

ナレッジベース検索（RAG）の構築、レポート分析の自動化、マルチモーダルワークフローにおいて、複雑なレイアウトのPDFやスキャン文書を大規模言語モデル（LLM）が読み取りやすいMarkdownへ変換することは、避けて通れない基盤技術です。現在、業界では大きく異なる2つのエンジニアリングアプローチが存在します。

1つはMinerUやPaddleOCRに代表されるパイプライン型システム（Pipeline-based）です。この種のアプローチではタスクを複数のステップに分解します。まず物体検出モデルでレイアウト領域を識別（見出し、本文、画像、表、数式を区分）し、切り出された画像ブロックを個別の専用OCRエンジン、表再構築ツール、LaTeX数式認識モデルへと振り分け、最後にルールやヒューリスティックなアルゴリズムによって最終的な読み順へと組み立てます。このモジュール化アーキテクチャでは各ステップで専用モデルを利用できるものの、処理経路が長く、複数のモデルをデプロイ・保守する必要があり、前段のレイアウト分割が一度崩れると後続の認識も連鎖的に破綻するという代償を伴います。

もう1つはエンドツーエンドモデル（End-to-End）です。エンドツーエンドモデルは文書画像全体をビジョン言語モデル（VLM）に直接入力し、自己回帰デコードを通じてページ全体のMarkdown、HTMLテーブル、LaTeX記号を一度に出力させます。このアプローチには中間的な組み立て工程が存在せず、単一モデルのデプロイだけで完結し、認識の成否はモデル自身の能力に完全に依存します。

エンドツーエンド専用モデルのカテゴリにおいて、WeVisDoc-4BはOmniDocBench v1.6およびPureDocBenchのクリーン、アルゴリズム劣化、実写劣化の3トラックすべてで首位を獲得（図：WeVisDoc 技術レポート）

WeVisDocは純粋なエンドツーエンド路線を採用しています。モデルはベースとしてQwen3-VL-2B-InstructとQwen3-VL-4B-Instructを直接選択しており、外部の検出器や特殊なデコード構造を一切導入していません。

評価では主に2つのベンチマークを使います。OmniDocBench v1.6 は、文書種類、レイアウト、言語が異なる1,651ページの自然文書で構成されます。PureDocBench は1,475件の元ページを、Clean、Digital Degraded、Real Degraded の3種類に変換し、同じ正解データを使って画像品質の変化による影響を測ります。

両ベンチマークともに、テキスト編集距離TextEdit（低いほど優位）、数式スコアFormulaCDM、表構造類似度TableTEDSを報告し、これらに基づいて総合スコアOverall =（100×(1−TextEdit) + FormulaCDM + TableTEDS）÷ 3 を算出しています。読み順ROEditは個別に報告され、Overallには含まれません。PureDocBenchの3トラック平均は、3つのトラックそれぞれのOverallの平均値です。

汎用大規模モデル、パイプライン型システム、エンドツーエンドモデルを網羅した全景評価において、WeVisDoc-4Bの異なる基準における順位は以下の通りです（Clean、Digital、RealはPureDocBenchの3トラック。「全モデル」は論文の表にある汎用大規模モデル、パイプライン型システム、エンドツーエンドモデルの3グループを統合した順位を指します）：

2つのベンチマークでは順位が異なります。自然文書で構成される OmniDocBench では、2つのパイプライン型システムが WeVisDoc-4B を上回ります。一方 PureDocBench では、WeVisDoc-4B が3トラック平均、Clean、Digital Degraded で1位、Real Degraded で3位です。どちらを重視するかは、対象文書が鮮明だが種類やレイアウトの多い自然文書に近いか、印刷物の撮影・画面の再撮影などの劣化ページに近いかで決まります。

論文の表3にある細目指標で見ると、PureDocBenchの3つのトラックにおいて、WeVisDoc-4Bの純粋なテキスト認識および読み順はエンドツーエンドグループ内で首位ではありません。総合スコアが首位である理由は、数式と表の2項目がいずれも第1位であるためです。総合スコアOverallはテキスト、数式、表の3項目の等重み平均であり、読み順は個別に報告され、ここには含まれません。したがって、テキスト主体の文書（契約書、報告書、書籍など）を扱う場合はテキスト編集距離の項目を確認する必要があり、総合スコアだけを見て判断することはできません。

WeVisDoc-4BのPureDocBenchエンドツーエンドグループ（21モデル）における細目指標の順位：

OmniDocBenchでの状況は異なります。エンドツーエンドグループ内ではテキスト編集距離（0.036）、数式、読み順がいずれも首位ですが、表TableTEDSは92.95で第3位にとどまり、1BパラメータのHunyuanOCR-1.5（93.67）や自社の2Bモデル（93.03）を下回っています。

4B の改善はすべての項目で大幅というわけではなく、OmniDocBench では従来最高のエンドツーエンドモデルとの差は0.64点です。鮮明なページでは2Bも多くの場面で4Bに近く、画像の劣化が強くなるほど4Bの優位性が広がります。電子文書や鮮明なページではまず2Bを試し、撮影・再撮影が多い場合は4Bを優先すると判断しやすくなります。

2段階訓練メカニズム：広範なカバレッジから残差に基づく再配分へ

技術レポートは問題を訓練データに帰着させています。既存の訓練コーパスは一般的な文書タイプやクリーンなデジタル版ページに偏っており、単純にデータのカバレッジを拡大するだけでは、モデルに残された弱点をどのように補強すべきかは分かりません。WeVisDocはモデル構造を変更せず、訓練を2つのステージに分割しています。第1段階で広範な幾何学的・セマンティックなカバレッジを構築し、第2段階でエラー診断に基づくターゲット精緻化を実施するというアプローチです。

Stage I のデータ構築はソースバランス、複数モデルによる共同アノテーション、実行可能Webページ合成、および多経路の外観劣化シミュレーションを網羅（図：WeVisDoc 技術レポート）

Stage I：4,000万レコードによる網羅的な基盤構築

第1ステージの中核タスクは、セマンティクス、レイアウト構造、外観劣化に関するモデルの基礎的なカバレッジを拡大することであり、訓練プールは約4,000万件のレコードを含んでいます。このステージではビジョンエンコーダ（ViT）と言語モデル（LLM）のバックボーンを同時に更新します。

訓練データは4つのチャネルから収集されています。オープンソースデータセット（記事、書籍、フォーム、レシート、表、数式の既存アノテーション）、社内収集データ（本番環境の文書や評価セットでは稀な撮影条件を補完）、WebページおよびPDFのターゲットクローリング（教科書、新聞、手書き、多言語混在などの希少タイプ）、そして合成ページです。同一ページの各種劣化バージョンは単一の重複排除グループを共有し、カバレッジの算出時には1回のみカウントされ、新規コンテンツとしては扱われません。言語面では簡体字中国語、英語、繁体字中国語、多言語混在をカバーしていますが、論文中に言語別のスコア内訳は示されていません。

訓練の粒度はページ全体にとどまりません。サンプリング前の段階で、約40%のレコードがページ全体、25%がプレーンテキストまたは混合コンテンツの領域クロップ、25%が独立した表、10%が独立した数式です。異なる粒度には明確な役割分担があります。ページ全体は読み順や要素間の関係性の学習に用いられ、テキストクロップは微小文字や密集文字の認識解像度を担保し、独立した表や数式のクロップは構造の集中的な学習に特化しています。

多様なソースからの公開データおよび自社構築データに対応するため、訓練プロセスでは3つの重要メカニズムが採用されました：

ターゲットトークンに基づく予算配分：自己回帰パースタスクにおいて、サンプルごとの教師信号には大きな偏りがあります。密集レイアウトの学術論文1ページには数千個のtarget tokenが含まれることがある一方、クロップされた独立数式ブロックには数十トークンしかありません。もしサンプル件数に基づいてサンプリング比率を設定すると、各データが実際に占める訓練量に不整合が生じます。同じ100件をサンプリングしても、長いページが寄与する出力トークン数は数式クロップよりもはるかに多くなるためです。そこでチームは、損失計算に関与する出力トークン数に基づいて訓練量を算定し、まず各データカテゴリが占めるべきトークン比率を決定した上で、各カテゴリの平均出力長に応じてサンプリング確率を換算しました。つまり、出力が短いデータほどサンプリング回数を増やして同等のトークンシェアを確保します。損失計算もサンプル単位で個別に算出して平均するのではなく、トークン単位で平均化されます。

3モデルによるクロスアノテーションと階層的レビュー：正確なアノテーションがない実ページには MinerU2.5-Pro、PaddleOCR-VL-1.6、dots.mocr を実行します。3モデルが近ければ合意結果を採用し、2つが一致して1つが異なる場合は画像検証を行い、3つすべてが異なる場合は、より強力なマルチモーダルモデルと人手レビューに回して Stage II の難例候補とします。

デュアルコンパイル実行可能Webページ合成：現実には稀な極端なレイアウト（ネストされた表や段組みをまたぐ数式展開など）を補完するため、実行可能なWebプログラムを生成する手法を採用しています。1つのプログラムが同時に2つのコンパイルプロセスを経由します。一方は高解像度のWebページ画像をレンダリングし、もう一方は同一のDocument Object Model（DOM）ツリーを直接走査して曖昧さのないMarkdown、HTMLテーブル、LaTeXソースコードを生成します。画像と正解ラベルは同一のソースコードから出力されるため、正解は極めて正確であり、人手やモデルによるアノテーションに依存しません。

手書きの英語数学ノートの元版（左）と経年劣化・黄ばみテクスチャを重畳した版（右）。テキストの可読性を維持しつつ視覚的特徴空間を拡張（図：WeVisDoc 技術レポート）

モデルを標準的な高精細デジタルPDFに限定させないため、合成された鮮明なページおよび収集された実ページはさらに劣化パイプラインに入力されます。パイプラインは2種類の影響をシミュレートします。1つは紙と伝播プロセスであり、紙のテクスチャや経年劣化、汚れ、インクの退色や滲み、印刷・コピー・スキャンによる網点や縞模様、伝送時の拡大縮小や圧縮が含まれます。もう1つは物理的な撮影であり、透視歪み、用紙のたわみや折り目、不均一な照明、画面再撮影によるモアレ、モーションブラーや被写界深度によるボケが含まれます。認識対象のコンテンツがすべて依然として視認・可読可能である場合のみ、劣化した画像は元のラベルを維持して訓練に投入されます。視認不能となったものは破棄されるか、可読な領域のみをクロップしてラベルを再割り当てします。

残差の診断：Stage II における訓練予算の配分手法

第1ステージの訓練を経たモデルは汎用的なページ解析能力を備えますが、特定のタイプのページにおいては依然としてまとまった誤りが発生します。レポートが指摘するように、残差（Stage I 後に残った誤り）そのものだけではデータ不足の証明にはなりません。誤りの原因はアノテーション自体の不備、画像の不鮮明さ、デコード時の無限ループである可能性もあり、あるいはモデルの能力限界によるもので類似サンプルを追加しても効果がない場合もあります。したがって第2ステージでは、まず原因を切り分けた上で、データを補充するのか学習を強化するのかを判断する必要があります。

WeVisDocの第2ステージでは約500万レコードの精緻化プールを構築し、この段階ではビジョンエンコーダを凍結し、言語モデルのバックボーンのみをファインチューニングします。このステージの中核ロジックは、第1ステージのモデルに残存する欠陥を測定し、計算リソースを的確に傾斜配分することです。

クラスタリングによって分類されたカラー教科書の特徴クラスタ：セクション境界枠、例題ブロック、本文挿絵、練習問題エリアを含み、高度に一貫した視覚的・構造的パターンを示す（図：WeVisDoc 技術レポート）

診断とリバランスのプロセス全体は4つのステップで構成されます：

独立プローブセットによる残差測定：訓練、難例発掘に一切関与せず、最終ベンチマークセットとも重複しない独立した「プローブセット」を設置します。第1ステージで得られたチェックポイントを用いてプローブセット上で推論を実行します。ページ全体の編集距離は表や数式も合算されますが、微小な領域のパース失敗がページ全体のスコアに与える影響は軽微です（例えば撮影された契約書において周囲のテキストがすべて正しく認識されていれば、出力から数式が抜け落ちていてもページ全体の編集距離には大きな問題として表れません）。そのため診断時にはテキスト、表、数式を個別に算出します。テキストには編集距離、表には1−TEDS、数式には1−CDMを用い、ページ全体のスコアに埋もれてしまいがちな局所的エラーをあぶり出します。

視覚-構造特徴のクラスタリング：凍結されたSigLIP2エンコーダを用いてページのグローバルな視覚表現を抽出し、視覚特徴の次元削減を行った後、要素構成、コンテンツ密度、言語、レイアウト、撮影条件、目標出力長などの構造情報を結合してクラスタリングを行い、データ空間全体を固定数の特徴クラスタ（「手書きノートクラスタ」「カラー教科書クラスタ」など）に分割します。サンプル数が少ないクラスタについては、誤差推定値を全体平均へ縮小させ（サンプルが少ないほど平均値に近づける）、個別サンプルによる過度の偏りを回避します。プローブセット内にサンプルが存在しない場合は全体平均を事前確率としてのみ利用し、実測された弱点とはみなしません。

高エラーサンプルの原因監査：各クラスタの優先度は、「データカバレッジの希少性」「全体的な残差」、および「テキスト/表/数式のうち最も顕著な残差」の加重によって決定されます。この順位付けは人手によるレビューのスケジューリングにのみ用いられ、自動的に訓練へデータが追加されることはありません。新規データを補充するには、まず監査によってエラーパターンを確認し、既存データが実際に不足していることを確認する必要があります。データは十分であるにもかかわらずモデルが依然として誤るクラスタについては、学習強化へと切り替えます。エラー率の高いサンプルについては、さらに別の3つの原因をあらかじめ精査します。アノテーション自体の欠落、順序の誤り、フォーマット破損がある場合はまずアノテーションを修正します。出力の反復ループが止まらないものはデコード失敗として個別にラベル付けします。クロップ、ボケ、遮蔽、解像度不足によって視認できないものは難例訓練には含めず、頑健性評価用としてのみ保持します。難例はさらに人手およびより強力なマルチモーダルモデルによる再確認を経て、正解がある状況でもモデルが明らかに誤っていることが確認されて初めて真の難例（ハードサンプル）と認定されます。

上下限付きトークン予算の再配分：各クラスタの残差の程度を確定した後、誤差の大きさに応じて第2ステージにおける各クラスタの訓練トークン比率を調整し、誤りの多いクラスタにより多く配分します。配分の変動が極端になりすぎるのを防ぐため、各クラスタの新たな比率はその自然な比率の一定倍率範囲内に制限されます（上下限の具体的な倍率について、レポートでは数値が非公開となっています）。同時に第1ステージの高品質データをリプレイ（再提示）し、モデルがすでに学習した内容を忘れにくくします。

論文図8：灰色の破線は再配分前、緑の実線は再配分後。3つのパネルはそれぞれページ要素タイプ、レイアウトと構造の難易度、外観と撮影条件を示し、各パネルの平均値は1.0（図：WeVisDoc 技術レポート）

再配分曲線を見ると、配分前後の2本の曲線の総量は同一であり（本ステージの予算は不変）、全体的な効果として訓練量が多数を占める一般的なタイプから希少なタイプへと移され、全体として均一化される方向に引き寄せられています。ページ要素に関しては、通常のテキストブロックが従来は約1.5倍、図文混在が約1.3倍であったものが配分後は1前後に低下しています。手書きの書き込み、要素をまたぐネスト、多言語テキストは従来は約0.6〜0.8にとどまっていたものが配分後は1近くまで上昇しています。レイアウトに関しては、線形な1段組が従来は約1.5倍、規則的な段組みが約1.3倍であったものが1前後に低下し、ネストや行・列をまたぐ構造、非線形な読み順、自由なレイアウトは約0.7〜0.8から1近くまで引き上げられています。外観に関しては、標準的な印刷・スキャンが従来は約1.7倍であったものが1前後に低下し、ボケ、透視歪みやたわみ、不均一な照明はわずかに上昇しています。

第1ステージの数式解析残差に対してターゲット生成された密集数式展開ページ（図：WeVisDoc 技術レポート）

データカバレッジが明らかに不足しており、かつ監査によってモデルのエラーであることが確認されたクラスタ（レポートでは中国語の数学テキスト、ネストされた表、領域をまたぐ読み順関係などが例示されています）については、データパイプラインが制御可能なWeb生成プログラムを利用して合成データをターゲット拡充します。既存のカバレッジは十分であるもののモデルが十分に習熟していないクラスタについては、そのクラスタに属する既存の高品質サンプルの第2ステージにおける露出頻度を引き上げます。

留意すべき点として、Stage II による全体的な向上は複合的な介入による結果です。実験評価において、Stage II には追加訓練ステップの累積だけでなく、残差重みの再配分、高品質な過去データのリプレイ、真の難例発掘、ターゲット追加データが含まれています。この比較は精緻化プロセス全体が向上をもたらしたことを示しているものの、スコア向上を「残差に基づく配分」という単一の施策のみに帰することはできません。

スコア向上の内訳と12の修復事例

PureDocBenchの3つのトラックは同一のページ群を共有し劣化度合いのみが異なるため、変化がどこに集中しているかを確認できます。モデル規模の拡大であれ第2ステージの追加であれ、スコアの向上は主として劣化ページにおいて現れています。下表はレポート表4の全数値です（Overallスコア、3回推論の平均）：

モデルを2Bから4Bに拡張した際、クリーンな元のページ（Clean）では0.45ポイントの向上、アルゴリズムによる模擬劣化ページ（Digital）では1.12ポイントの向上にとどまる一方、実写劣化ページ（Real）では3.48ポイント向上しました。レポートはこの結果から、外観の変化が激しいほどモデル容量の拡大による恩恵が大きくなると考察しています。両モデルの選定という観点では、2Bと4Bの差はOmniDocBenchでわずか0.32ポイント、Cleanでも0.45ポイントにすぎず、主たる差異はRealにおける3.48ポイントにあります。プロジェクトホームページでは、まず軽量な2Bから着手し、最高性能を追求する場合に4Bを採用することを推奨しています。したがって、業務がデジタル版やクリーンなページ中心であれば2Bで基本的に十分であり、写真撮影や再撮影された文書が多い場合は4Bの採用が推奨されます。

また、Stage I から Stage II への移行において、4BモデルのCleanにおける伸びは0.49ポイントにとどまりますが、DigitalおよびRealトラックではそれぞれ2.55ポイントと4.03ポイントの大幅な飛躍を達成しました。これは希少タイプや撮影劣化を標的とした第2ステージの設計意図と合致しています。ただし前述の通り、この比較からはどの個別施策が寄与したのかを切り分けることはできません。

プロジェクトホームページおよびレポート付録では、各テストセットから3事例ずつ、計12事例の前後比較が掲載されています。選定方法は、Stage II の単一ページスコアが高い順にスキャンし、Stage I のスコアが70未満かつエラー原因が単一で明確なページを抽出したものです。掲載された出力は3回の推論のうちスコアが中央値のものを採用しています。したがって、これらは修復に成功した典型例を示したものであり、この種のエラーの発生頻度を推し量るためのものではないとレポートに明記されています。

表の読み落としと境界修復：書籍内の9×9数独のページ（事例1）では、Stage I で表全体が読み落とされ、TableTEDSスコアはわずか0.333でしたが、Stage II では完全な <table> マトリクスとして再構築に成功し、スコアは1.000に上昇しました。また連結経営諸表（事例8）では、Stage I が表の下部にある注記、監査説明、署名欄まで表のセル内に巻き込んでしまっていましたが、Stage II では表の終了境界を正確に識別し、下部の注記を通常の本文段落として復元しました。

読み順の是正：イベントハンドブック内の送迎スケジュール表（事例5）は、並列する3列のフライトカード（CA1501、MU5101、NH919...）で構成されています。Stage I では第1列を縦方向に最後まで読んでから次の列へと進んだため、出力順序がCA1501、KE897、BA169、UA857となり時系列が崩壊していました。Stage II では行ごとに左から右へと読み進め、CA1501、MU5101、NH919、KE897という順序へと復元しました。ページ全体のOverallは49.00から94.64へ上昇し、テキスト編集距離は0.510から0.054へと低下しました。

数式の復元：工場の保守点検・班管理マニュアル（事例7）において、ダウンタイムリスクの数式が第1ステージでは単なる平文テキスト Downtime Risk = Fault Frequency × Recovery Time として出力され、数式評価FormulaCDMは0でした。Stage II ではこれを $$ で囲まれたLaTeXの独立数式ブロックとして出力しました。スマートフォンで斜めから撮影された中国語の『株式譲渡契約書』（事例11）では、Stage I が同時に2つの誤りを犯していました。乙方の業務執行組合員である「林嘉铭」を「林露铭」と誤認し、第7条の違約金数式を通常のテキストとして出力していましたが、Stage II では両方とも正しく修正され、数式スコアFormulaCDMは0.024から1.000へ上昇しました。

ハルシネーションと実写における残存エラー：撮影収集された新聞ページ（事例10）において、Stage I の出力は別の文書へと飛散し、画面とは無関係な中国の上場企業の資金管理公告や反復的な数学的展開をでっち上げ、ページ全体のスコアは31.43にまで落ち込みました。Stage II はハルシネーションの抑制に成功し、テキストを新聞本来のFRB金利決議ニュースへと引き戻しました（Overallは94.13へ急上昇）。

一方でレポートは、実写のいくつかの事例において、Stage II は全体構造を復元したものの、数字や文字レベルの認識誤りが依然として残存していることを注記しています。例えば臨床フォームの事例（事例12）では、Stage II は死因チェーンの階層「1a / 1b / 1c」を「la / lb / Ic」と認識し、数字の1を英字と誤認しました。構造が復元されたからといって、すべての文字が正しく認識されたことを意味するわけではありません。

12の事例 · 元ページと2段階の出力対比

Stage I はどこを誤り、Stage II はどう修正したか

事例を選択し、まず元ページの赤枠を確認してから、下の2つのステージの出力を比較してください。出力内の「…」はプロジェクトホームページの原文にある省略です。

事例 01 · OmniDocBench v1.6

表の読み落とし

Stage I では 9×9 の数独グリッドを読み落としましたが、Stage II では表を完全に復元しました。

Overall 65.87 → 99.22TableTEDS 0.333 → 1.000

Stage I の出力

Fig. 10.3 Solved sudoku puzzle.

## 10.4 Hybrid Optimization
Hybrid methods may be required to solve particularly difficult real-world optimization problems. Implementation of hybrid methods typically requires non-trivial scripting
…

Stage II の出力

<table><tr><td>5</td><td>3</td><td>4</td><td>6</td><td>7</td><td>8</td><td>9</td><td>1</td><td>2</td></tr>
…
<tr><td>3</td><td>4</td><td>5</td><td>2</td><td>8</td><td>6</td><td>1</td><td>7</td><td>9</td></tr></table>

Fig. 10.3 Solved sudoku puzzle.

### 10.4 Hybrid Optimization
…

事例 02 · OmniDocBench v1.6

図示階層の読み落とし

Stage I では図示の中間階層を読み落としましたが、Stage II で補完しました。

Overall 58.98 → 100.00TextEdit 0.410 → 0.000（低いほど優位）

Stage I の出力

## 语气的概述

语气可以分为陈述语气、祈使语气和虚拟语气。虚拟语气又有七种基本结构。

## 一 陈述语气
陈述语气表示所说的话是陈述事实、提出想法。
…

Stage II の出力

## 语气的概述

语气可以分为陈述语气、祈使语气和虚拟语气。虚拟语气又有七种基本结构。

陈述语气
祈使语气
语气
动词原形
动词的过去式
had + 过去分词
虚拟语气
should + 动词原形
…
## 一 陈述语气
…

事例 03 · OmniDocBench v1.6

ページ余白テキストの読み落とし

Stage I ではページ単位の図表キャプション、フッター、ページ番号を読み落としましたが、Stage II で補完しました。

Overall 67.66 → 100.00TextEdit 0.323 → 0.000（低いほど優位）

Stage I の出力

## 企业依赖复杂、多层和互通的架构
案例:半导体、计算机和电子产品以及通讯设备

## 戴尔
2019年收入：900亿美金
…
## 联想
2019年收入：510亿美金
…
资料来源:彭博供应链数据库；麦肯锡全球研究所分析

Stage II の出力

## 图E3 即使在同一个行业中，企业也可能有非常不同的供应链结构和显著的重叠

企业依赖复杂、多层和互通的架构
案例:半导体、计算机和电子产品以及通讯设备

戴尔
2019年收入：900亿美金
…
联想
2019年收入：510亿美金
…
资料来源:彭博供应链数据库；麦肯锡全球研究所分析

全球价值链中的风险、韧性和再平衡
9

事例 04 · PureDocBench · Clean

見出し階層が表に押し込められる

Stage I ではページ全体の見出し階層を1つの表に押し込めてしまいましたが、Stage II では見出しを復元し、本来の表のみを表として出力しました。

Overall 3.46 → 98.30TextEdit 0.996 → 0.033（低いほど優位）

Stage I の出力

<table><tr><td>PART A — MOTOR VEHICLE EMISSION AND FUEL STANDARDS</td></tr><tr><td>§7521. Emission standards for new motor vehicles or new motor vehicle engines</td></tr>
…
<tr><td>Table 1 — National Ambient Air Quality Standards (NAAQS)</td></tr><tr><td>Pollutant</td><td>Primary Standard(Level)</td><td>Secondary Standard(Level)</td><td>Averaging Time</td><td>Form</td></tr>
…
</table>

Stage II の出力

## PART A — MOTOR VEHICLE EMISSION AND FUEL STANDARDS

## §7521. Emission standards for new motor vehicles or new motor vehicle engines

(a) Authority of Administrator to prescribe by regulation.— Except as otherwise provided in subsection (b), the Administrator shall by regulation prescribe
…
## §7409. National Ambient Air Quality Standards
…
Table 1 — National Ambient Air Quality Standards (NAAQS)
<table><tr><td>Pollutant</td><td>Primary Standard (Level)</td><td>Secondary Standard (Level)</td><td>Averaging Time</td><td>Form</td></tr>
…

事例 05 · PureDocBench · Clean

読み順の乱れ

Stage I では3列の送迎カードを縦方向に列ごとに読みましたが、Stage II では行ごとの左から右への順序を復元しました。

Overall 49.00 → 94.64TextEdit 0.510 → 0.054（低いほど優位）

Stage I の出力

…
## Airport Pickup Matrix 接机安排 (Apr 19-20)

CA1501 PEK → PVG
Apr 19 14:20 | 8 pax | Shuttle A1

KE897 ICN → PVG
Apr 19 17:10 | 8 pax | Shuttle B1

BA169 LHR → PVG
Apr 20 06:15 | 15 pax | Shuttle C1

UA857 SFO → PVG
Apr 20 07:45 | 14 pax | Shuttle C2
…

Stage II の出力

…
## Airport Pickup Matrix 接机安排 (Apr 19-20)

CA1501 PEK → PVG
Apr 19 14:20 | 8 pax | Shuttle A1

MU5101 CAN → PVG
Apr 19 15:45 | 6 pax | Shuttle A1

NH919 NRT → PVG
Apr 19 16:35 | 12 pax | Shuttle B1

KE897 ICN → PVG
Apr 19 17:10 | 8 pax | Shuttle B1
…

事例 06 · PureDocBench · Clean

計測テーブルの読み落とし

Stage I では2枚の頸動脈血流計測テーブルを読み落としましたが、Stage II で補完しました。

Overall 48.88 → 91.96TableTEDS 0.366 → 0.901

Stage I の出力

…
左侧颈动脉 Left Carotid

斑块分析 Plaque Analysis (Left)
狭窄计算 Stenosis Calculation
<table><tr><td>编号</td><td>位置</td><td>大小mm</td><td>回声</td><td>表面</td><td>GSM</td><td>溃疡</td></tr>
…
</table>
…
右侧颈动脉 Right Carotid ★

斑块分析 Plaque An
<table><tr><td>编号</td><td>位置</td><td>大小mm</td><td>回声</td><td>表面</td><td>GSM</td><td>溃疡</td></tr>
…

Stage II の出力

…
## 左侧颈动脉 Left Carotid
<table><tr><th>血管节段</th><th>IMT mm</th><th>ID mm</th><th>PSV cm/s</th><th>EDV cm/s</th><th>RI</th></tr><tr><td>CCA近段</td><td>0.8</td><td>6.4</td><td>76.5</td><td>21.2</td><td>0.72</td></tr>
…
<tr><td>VA V3段</td><td>-</td><td>3.2</td><td>44.8</td><td>15.2</td><td>0.66</td></tr></table>

斑块分析 Plaque Analysis (Left)
…

事例 07 · PureDocBench · Digital Degraded

数式が平文テキストとして出力される

Stage I では独立した数式を通常のテキストとして出力しましたが、Stage II ではLaTeX数式ブロックとして出力しました。

Overall 65.28 → 98.70FormulaCDM 0.000 → 1.000

Stage I の出力

…
## 5.2 LOTO 与 Permit-to-Work

执行检修、换模、开盖、进入防护罩内作业前，必须进行 Lockout / Tagout。
…
Downtime Risk

Downtime Risk = Fault Frequency × Recovery Time

用于决定异常响应是否升级为 maintenance escalation 或生产会议通报项。

## 5.3 班组 KPI 与 Toolbox Meeting
…

Stage II の出力

…
### 5.2 LOTO 与 Permit-to-Work

执行检修、换模、开盖、进入防护罩内作业前，必须进行 Lockout / Tagout。
…
#### Downtime Risk

$$Downtime\ Risk = Fault\ Frequency \times Recovery\ Time$$

用于决定异常响应是否升级为 maintenance escalation 或生产会议通报项。

### 5.3 班组 KPI 与 Toolbox Meeting
…

事例 08 · PureDocBench · Digital Degraded

表の境界線の逸脱

Stage I では表を下部の注記や署名欄まで拡張してしまいましたが、Stage II では正しい位置で表を終了させました。

Overall 51.76 → 98.59TextEdit 0.862 → 0.027（低いほど優位）

Stage I の出力

…
<tr><td>Diluted EPSNote 2</td><td>$3.28</td><td>$2.54</td><td>$1.25</td><td>+29.1%</td></tr>
…
<tr><td colspan="5">NOTE: This consolidated statement of operations reflects combined performance across all operating segments including:
…
<tr><td colspan="5">AUDITOR&#x27;S CERTIFICATION: This Consolidated Statement of Operations, including all notes and supplementary schedules, has been audited …</td></tr><tr><td>Chief Financial Officer</td><td>Controller</td><td></td><td>Chief Executive Officer</td><td></td></tr>
…

Stage II の出力

…
<tr><td>Diluted EPSNote 2</td><td>$3.28</td><td>$2.54</td><td>$1.25</td><td>+29.1%</td></tr>
…
</table>

NOTE: This consolidated statement of operations reflects combined performance across all operating segments including:
…
AUDITOR'S CERTIFICATION: This Consolidated Statement of Operations, including all notes and supplementary schedules, has been audited
…
Chief Financial Officer
…
Controller
…
Chief Executive Officer
…

事例 09 · PureDocBench · Digital Degraded

フィールド名と値の分離

Stage I ではファームウェア情報のフィールド名と値をバラバラにしてしまいましたが、Stage II で再び1対1に対応付けました。

Overall 57.25 → 92.47TextEdit 0.428 → 0.075（低いほど優位）

Stage I の出力

Device Model 设备型号:
Current FW 当前固件:
Target FW 目标固件:
Build Date 构建日期:
Architecture 架构:
Image Size 镜像大小:

GW-IoT-4200 Edge Gateway
v4.1.8 (build 20250911)
v4.2.1 (build 20260401)
2026-04-01 08:30:00 UTC
ARMv8-A Cortex-A72
48.7 MB
…

Stage II の出力

Device Model 设备型号: GW-IoT-4200 Edge Gateway
Current FW 当前固件: v4.1.8 (build 20250911)
Target FW 目标固件: v4.2.1 (build 20260401)
Build Date 构建日期: 2026-04-01 08:30:00 UTC
Architecture 架构: ARMv8-A Cortex-A72
Image Size 镜像大小: 48.7 MB

## [NEW] 新增功能 / New Features
…

事例 10 · PureDocBench · Real Degraded

出力が別の文書に飛散

Stage I では画面と無関係な中国語の公告や繰り返しの数学的内容を出力しましたが、Stage II では新聞本来の内容に戻りました（一部に局所的な認識誤りは残存）。

Overall 31.43 → 94.13TextEdit 0.681 → 0.057（低いほど優位）

Stage I の出力

## THE FINANCIAL CHRONICLE
…
Vol. 02171, No. 69
…
S&P 500 3,738.92 +42.18 (+0.75%)
…
1. 2017年，公司与上海浦东发展银行股份有限公司签订了《关于使用部分闲置募集资金进行现金管理的协议》。
…
The Ground Truth image displays a single, solid horizontal line. According to Rule 2 (UNDERSCORE & LINE RULES), this is a stylistic or background line, not a placeholder underscore.
…
$\therefore m = \frac{3}{11}$
…

Stage II の出力

## THE FINANCIAL CHRONICLE
Vol CXIV, No 20
Sunday, March 17, 2025
New York London Hong Kong Tokyo Frankfurt
DJIA 42.186.57 • 287.41 (+0.65%)
S&P 500 3,738.92 +42.18 (+0.74%)
…
## Fed Holds Rates Steady, Signals Two Cuts Remain on Table for 2025
Powell cites "unusually elevated uncertainty" from tariff policies; dot plot unchanged from December projections
BY JAMES WHITFIELD AND SARAH CHEH | FEDERAL RESERVE CORRESPONDENTS
WASHINGTON — The Federal Reserve held its benchmark interest rate unchanged at 4.25%-4.50% on Wednesday, as widely expected
…

事例 11 · PureDocBench · Real Degraded

人名の誤認識・数式の平文化

Stage I では「林嘉铭」を「林露铭」と誤認識し、違約金数式を通常のテキストとして出力しましたが、Stage II では両方とも正しく修正されました。

Overall 64.61 → 97.70FormulaCDM 0.024 → 1.000

Stage I の出力

…
第一条 各方基本信息
<table>
…
<tr><td>乙方(受让方)</td><td colspan="3">深圳前海汇智投资合伙企业(有限合伙)</td></tr><tr><td>统一社会信用代码</td><td>91440300MA5FP7TN8K</td><td>执行事务合伙人</td><td>林露铭</td></tr>
…
</table>
…
## 第七条 违约责任

7.1 任何一方违反本协议项下的义务、陈述或保证的，…

违约金 = 股权转让总对价 × 10% + 逾期付款金额 × 0.05% × 逾期天数
…

Stage II の出力

…
第一条 各方基本信息
<table>
…
<tr><td>乙方(受让方)</td><td colspan="3">深圳前海汇智投资合伙企业(有限合伙)</td></tr><tr><td>统一社会信用代码</td><td>91440300MA5FP7TN8K</td><td>执行事务合伙人</td><td>林嘉铭</td></tr>
…
</table>
…
## 第七条 违约责任

7.1 任何一方违反本协议项下的义务、陈述或保证的，…

$$
\text{违约金} = \text{股权转让总对价} \times 10 \% + \text{逾期付款金额} \times 0.05 \% \times \text{逾期天数}
$$
…

事例 12 · PureDocBench · Real Degraded

フォームが過剰に表組み化される

Stage I では臨床フォームを表組みにしてしまいましたが、Stage II ではセクションごとの線形構造へと復元しました（「1a」を「la」と認識するなど、一部に局所的な誤認は残存）。

Overall 67.08 → 96.66TextEdit 0.648 → 0.056（低いほど優位）

Stage I の出力

…
二、直接死亡原因链 Cause of Death Chain
<table><tr><td>1a 直接原因</td><td>感染性休克、多器官功能衰竭(MOF) Septic shock with multiple organ failure</td></tr><tr><td></td><td>↑ 由于 due to</td></tr><tr><td>1b 前因</td><td>重症肺炎(多重耐药菌感染) Severe pneumonia …</td></tr>
…
</table>

三、讨论发言记录
<table><tr><td>汇报医师:李明 住院医师</td></tr>
…

Stage II の出力

…
## 二、直接死亡原因链 Cause of Death Chain

la 直接原因 感染性休克、多器官功能衰竭(MOF) …
↑ 由于 due to
lb 前因 重症肺炎(多重耐药菌感染) …
↑ 由于 due to
Ic 根因 社区获得性肺炎，免疫功能低下 …
II 促进因素 2型糖尿病(20年，HbA1c 9.8%) …
…
## 三、讨论发言记录
汇报医师：李明 住院医师
…
感染科会诊意见：王教授 主任医师
…
ICU主治：陈副主任医师
…

データおよび画像はWeVisDocプロジェクトホームページの「Interactive Recovery Lab」および技術レポート付録B.1からの引用であり、掲載された出力は3回の推論のうち中央値スコアのものです。

デプロイ手順と実務導入に向けた指針

GitHubコードリポジトリおよびHugging FaceモデルカードにはApache-2.0ライセンスが明記されており、2Bおよび4Bの2つのモデル重みと推論コードが公開されています。訓練データおよびデータ構築パイプラインはオープンソース化されておらず、レポートには配分式の形式が示されているものの、主要な係数（ソースバランス指数 ρ、残差重み β、上下限倍率 ϑ、難例比率 λ など）の具体的な数値は非公開であり、外部の人間が訓練を再現するために必要な条件は完全には揃っていません。

実行環境と起動方法

公式にはvLLM（バージョン 0.11.1 以上が必要）を用いた推論サービスの起動が推奨されています。この方式は高い同時実行処理、テンソル並列（Tensor Parallel）アクセラレーション、およびOpenAI互換のAPIプロトコルをサポートしています。Python 3.10以上が必要です。vLLMサービスとローカルのTransformers推論が依存するPyTorchバージョンが競合する可能性があるため、公式には両者を独立した仮想環境で運用することが推奨されています。リクエストを送信するだけのクライアントマシンであれば、軽量な依存関係ファイルをインストールするだけで十分です。

サーバー起動コマンドの例：

# 環境をアクティベートした後に 2B または 4B サービスを起動
bash scripts/serve_vllm.sh Tencent/WeVisDoc-4B

複数のGPUがあり超長尺の単一ページを処理する必要がある場合は、環境変数を通じて2枚のGPUによる並列実行を有効化し、シーケンス長を拡大できます：

CUDA_VISIBLE_DEVICES=0,1 TENSOR_PARALLEL_SIZE=2 MAX_MODEL_LEN=65536 \
  bash scripts/serve_vllm.sh Tencent/WeVisDoc-4B --dtype bfloat16

クライアントによるバッチ処理では、画像ディレクトリを指定したマルチスレッド並列呼び出しをサポートしています：

# 指定ディレクトリ配下の全ページ画像をバッチ処理し、結果を Markdown 形式でページごとに保存
python -m wevisdoc.client --image-dir ./doc_images --result-dir ./outputs --workers 4

ローカルの単一GPUで簡単なデバッグを行うだけであれば、プロジェクトが提供するスタンドアロンのTransformers推論スクリプトも利用できます：

python -m wevisdoc.local --model Tencent/WeVisDoc-2B --image page.png --output result.md

ワークフローに組み込む前に対応すべき4点

• PDF は先に画像へ変換：WeVisDoc が受け付けるのは PNG、JPEG、WebP で、PDF を直接読み込みません。複数ページの PDF はページごとにレンダリングしてからモデルに渡します。
• 図表の内容は別処理：本文は Markdown、数式は LaTeX、表は HTML になりますが、純粋な挿絵やチャートは無視されます。図中の傾向やラベルが必要なら、別の図表解析工程を追加します。
• 密集ページには十分な出力長を確保：クライアントのデフォルトは最大8,192生成トークンです。密集した論文、法律文書、大きな表は途中で切れる可能性があり、メモリに余裕があれば --max-tokens を増やし、難しければ画像サイズや並列度を下げます。
• 重要項目は元画像で確認：手書き、歴史資料のスキャン、損傷の激しいページは十分に評価されていません。ページ情報を保持し、契約金額、財務、医療の重要項目は原画像に戻って確認します。

GPU、VRAM、処理速度の要件は公開されていません。出力には文字座標が含まれず、ページをまたぐ段落や表も自動結合されないため、原画像上のハイライトや跨ページ復元が必要な場合は外部処理を追加する必要があります。