0009: 対訳ペア収集スクリプト

• 状態: 実装中
• 関連: docs-shared/tasks/handoff-anonymize-codex.md タスク7

目的

翻訳モデルFT用の対訳ペアを、LLMを使わずに収集・正規化する。FT本体と notebookは専用private repo hkawaguc/translation-ft に置き、このリポジトリでは データ収集とR2投入だけを扱う。

出力契約

JSONL 1行を次の形にする。

{"en":"...","ja":"...","domain":"law","source":"jlt","license":"public-doc-tdm"}

R2へ同期する場合は、paper-civic-kitバケットではなく認証分離した専用バケットを使う。

r2ft:translation-ft/parallel/<source>.jsonl

license は私用モデルとOSS公開モデルを分けるため必須とする。

入口

make collect-parallel SOURCE=opus-gnome DOMAIN=linux LICENSE=CC0 INPUTS="pairs.tmx"
make collect-parallel SOURCE=opus-gnome DOMAIN=linux LICENSE=CC0 INPUTS="pairs.tmx" ARGS="--sync-r2"

入力は jsonl、csv、tsv、tmx、およびそれらの .gz を受け付ける。重複除去は 正規化済み en+ja のSHA-256で行い、極端な長短・非対訳らしきペアは除外する。