0011: 抽出スタックの多層化とローカル抽出の蒸留FT路線

  • 日付: 2026-07-12
  • 状態: 採用
  • 関連: 0008（抽出優先）、0010（学習利用基準）

背景

hypothesis_hypergraphの抽出は現状gpt-5.5（Codexバックエンド）に依存する。 外部LLM依存・コスト・個人データ（0010）の観点から、どこまでローカルで 持てるかを検討・実測した。

決定

1. 抽出を2層に分ける

  • LLMフリー層（ローカル・学習利用問題なし・3080/CPU）:
    • OCR（NDLOCR-Lite）、埋め込み/RAG（bge-m3）、
    • ノード候補の型付き抽出（GLiNER-ja / GiNZA / ドメインNER）、
    • 役割語NER（GiNZA、匿名化の実名洗い出し）、共起語・KWIC・統計（pcklib）、
    • 理念/実証の区別は分類タスクとしてencoder（BERT系）でFT可能（後述）。
  • 生成LLM層（gpt-5.5 or ローカル生成モデル）:
    • 仮説・支持・反証・導出の論証グラフ（エッジ）生成。ここだけがLLM必須。

2. 当面はgpt-5.5、並行してFTデータを蓄積

論証グラフ生成は当面gpt-5.5で回す（判タ・DSM・論文の実務）。 その抽出結果を教師データとして蓄積し、ローカル生成モデルの蒸留FTに使う。

3. ローカル生成モデルのFT路線（Nemotron-9B-ja実測、2026-07-12）

3080でNemotron-Nano-9B-v2-Japanese（i1-Q4_K_M GGUF、llama.cpp CUDA）を実測:

  • インフラは全経路成功（WoL→DL→GPUコンテナ→推論。translate.ymlタグも検証）。
  • 素ではドロップイン不可: reasoningモデルで日本語抽出に英語CoTを長々出す。 思考オフ（detailed thinking off / --reasoning-budget 0 / --jinja）は このGGUF+llama.cpp版では無効だった。
  • GBNF文法制約で構造は出せる: 正しい日本語・統制語彙型（例: 自閉スペクトラム症/概念）。 ただし過少抽出（1ノード1エッジ vs gpt-5.5数十）＋意味誤り （相関を「因果」と誤ラベル。0008の因果/導出区別に反する）。
  • 結論: 素の9Bは不足。ただし失敗の型（過少抽出・語彙規律の弱さ）は gpt-5.5抽出を教師にした蒸留FTで直る種類。運用ハーネスは 「文法制約デコード（GBNF）」が正しい。翻訳FTと同じtrain.py基盤に乗せる。

4. FTは反復で漸進

蒸留データが増えるほど・FTを重ねるほど精度は上がるが、線形ではない （データ品質と多様性が効く。gpt-5.5の抽出自体の質を保つことが上限を決める）。 数百〜数千の高品質抽出ペアが貯まった段階で初回FT、以後は誤り分析→ データ追加→再FTのループ。

追記: encoder自給ロードマップ（2026-07-12）

LLMフリー層をencoder（BERT系）で強化する。土台は ModernBERT-Ja (310m) （sbintuitions、文脈長8192）。二段階:

  1. ドメイン適応（MLM継続学習、ラベル不要）: e-Gov法令API経由の法令本文で MLM継続学習し「法律語を理解する頭」を作る。3080で数時間。
    • 法令本文・判決本文は著作権フリー（著作権法13条: 憲法その他の法令=1号、 判決・決定=3号）。e-Gov API取得なら権利・アクセスとも問題なし。
    • 民間の付加物は保護あり（判例集の解説・要旨・編集、六法の注釈、 市販法令集のレイアウト）。判タ複写をcopies/=公開不可としたのは正しい。
    • 分量: 現行法令 約8千〜1万件・生テキスト1〜2GB（R2無料枠に収まる、 JParaCrawlより小さい）。全件不要、中核（刑法・医療観察法・ 精神保健福祉法・国民年金法・障害者総合支援法・憲法・民法関連）から 狙い撃ちし、効果を測って拡張。量より関連性。
    • 収集はtranslate-batch型のチェックポイント方式でR2 law-corpus/へ。 翻訳FTの法令対訳収集と同一経路（一度作れば両方に効く）。
  2. タスクFT（ラベル付き）: gpt-5.5抽出のdescriptionに含まれる理念/実証の 区別を教師に「理念/実証」2値分類器、ノード型多クラス分類器をFT。 数百例・3080で数十分。decoderの負荷を実際に削る最初の一手。 固有表現（役割語NER・ノード候補）は日本語LUKE系が候補。
    • 薬学は既製の JPharmaBERT を使えばよく自作不要。法令特化encoderは 既製がないので e-Gov から作る価値が高い。

未決定事項

  • ローカル生成モデルの最終候補（Nemotron-9B-ja FT / ABEJA-Qwen32b / 他）は 蒸留データが揃ってから比較。
  • ドメイン適応コーパスの混合比（法令を一枚目に、学術アブスト・抽出ノートを追加）。

追記: 生成LLM層（エッジ生成）の撤回（2026-07-21）

0014により、本決定の「生成LLM層」 節（決定1後半・決定2〜4、論証グラフのエッジをgpt-5.5または蒸留FTした ローカル生成モデルに生成させる路線）は撤回した。エッジ（支持/反証/導出と その根拠）は必ず本人が書く。本決定の「LLMフリー層」節（ノード候補抽出・ bge-m3埋め込み・共起統計・encoder分類、決定1前半）はそのまま有効。