AI翻訳はモデル名だけで優劣を決められません。言語ペア、業界、文章の長さ、与える文脈、用語集によって結果が変わります。実際の自社コンテンツから小さなテストセットを作り、誤りの種類と影響を記録します。
実際の用途から20〜50セグメントを選ぶ
テストには短い見出し、長い説明、箇条書き、CTA、料金、固有名詞、曖昧な日本語を混ぜます。簡単な文章だけを選ぶと、本番で起きる誤りを見逃します。対象言語ごとに同じ原文を使い、入力条件も記録します。
評価者にはページの目的、顧客、ブランドトーン、用語集を渡します。原文と訳文だけを切り離して評価すると、文脈不足による誤りとモデルの能力を区別できません。
誤りを種類と重大度で記録する
MQMは正確性、流暢さ、用語、スタイルなどの誤りを分類し、重大度を付けて比較する枠組みです。中小規模なら全分類を使わず、意味の欠落・追加、数字、用語、文法、トーン、表示の6項目から始められます。
重大度は『好みではない』『理解を妨げる』『誤った行動や損失につながる』のように3段階で定義します。同じ表現でも、ブログなら軽微、契約条件なら重大になる場合があります。
- 正確性：意味の欠落・追加・逆転がないか
- 用語：商品名・専門語・訳さない語が統一されているか
- 流暢さ：文法・読みやすさ・句読点が自然か
- スタイル：敬体、ブランドトーン、対象者に合うか
共通スコアを計算し、停止条件を優先する
簡易スコアシートには、セグメントID、原文、訳文、誤り分類、重大度、コメント、修正時間、評価者を一行ずつ記録します。重大度の例として軽微1点、重大5点、致命的25点を設定し、評価対象の原文語数で正規化します。
計算例は『品質スコア＝max（0, 100−減点合計÷原文語数×1,000）』です。原文1,000語で軽微4件・重大1件・致命的0件なら減点は9、スコアは91です。これはMQMを参考にした社内用の簡易式であり、業界共通の合格点ではありません。
開始時の仮基準として、95以上かつ致命的0件を公開候補、85〜94.9を人手修正、85未満または致命的1件以上を再翻訳・専門確認とできます。法務・安全ページでは閾値を上げ、少量の実データで校正します。自動評価は大量比較の補助にとどめ、高スコアでも数字や否定の誤りがあれば停止します。
修正箇所数だけでなく修正時間も測ります。初稿が少し良くても編集に長くかかる方式は、総コストと公開速度で不利になることがあります。
- 識別：ページ、セグメントID、言語、原文、訳文
- 判定：誤り分類、重大度、点数、コメント
- 対応：修正案、修正時間、評価者、確認日
- 集計：原文語数、減点合計、正規化スコア、公開判断
採用基準は言語とページ種類ごとに持つ
全言語で一つの平均点を使うと、低品質な言語を高品質な言語が隠します。言語×コンテンツ種類で、公開可、軽い修正、専門レビュー必須、使用不可の基準を決めます。
本番でも月ごとにサンプルを再評価し、用語集追加、原文改善、モデル変更の効果を同じ指標で比較します。評価表はベンダー選定だけでなく、継続改善の履歴になります。
実行前に押さえる要点
- 実際の難しい文章を含む共通テストセットを作り、入力条件と文脈を揃える。
- 誤りの種類と重大度、修正時間を記録し、自然さだけで判断しない。
- 言語とページ種類ごとに公開基準を持ち、同じ表で継続評価する。