機械翻訳の品質評価ベンチマーク｜COMETのアルゴリズムとTOEFL・Versantの採点方式

自社サイトを多言語展開する、社内の翻訳AIツールを比較検討する、外注先の翻訳品質をチェックする——こうした場面で「この訳文は自然か」を毎回人手で判断するのは現実的ではありません。機械翻訳（MT）の研究・業界コミュニティは、この課題に長年取り組んでおり、字面の一致を数える古典的な指標から、人間の評価データを学習したニューラル回帰モデルまで、翻訳品質を定量化する手段を段階的に発展させてきました。あわせて、発想が近い「人間の語学力を機械で採点する」領域（TOEFL・Versant等）にも触れ、機械翻訳の評価と人間の語学試験の自動採点が、どこまで似ていてどこが違うのかを整理します。

01.結論

冒頭の結論で触れた通り、機械翻訳の品質評価は「字面が合っているか」から「人間が読んでどう評価するか」を予測するニューラルモデルへと軸足を移しています。

02.機械翻訳のベンチマークとは何を指すか

「機械翻訳のベンチマーク」という言葉は、大きく2つの意味で使われます。1つは翻訳モデルそのものの性能を比較するための評価用データセット・指標（WMT等の共有タスクで使われるテストセットと評価指標）、もう1つは手元で生成した訳文1件1件の品質を数値化するスコアリングです。本記事で扱うのは主に後者、つまり「この訳文はどれだけ自然か・正確か」を自動で測る仕組みです。研究の起点になっているのが、毎年開催される機械翻訳の国際的なワークショップWMT（Workshop on Machine Translation）で、そこに毎年設けられる「Metrics Shared Task」（評価指標そのものの精度を競うコンペティション）が、業界で使われる評価指標の実質的な基準を作ってきました。

03.機械翻訳の品質評価アルゴリズム

機械翻訳の評価指標は、大きく「表層一致の指標」と「人間評価を学習したニューラル指標」の2世代に分かれます。

BLEU・chrF・TER｜表層一致で測る旧世代の指標

最も古くから使われてきたのがBLEU（Papineni et al., 2002）です。訳文と参照訳（正解の訳文）の間で1〜4単語の連続（n-gram）がどれだけ一致するかを数え、その適合率の幾何平均に、訳文が参照訳より極端に短い場合のペナルティを掛け合わせてスコアにします。「速く・安く・言語非依存」に評価できる点が評価され長く標準指標として使われてきましたが、同義語や言い換え（"car"と"automobile"など）を字面が違うというだけで減点し、文単位では信頼性が下がりやすいという弱点があります。

この弱点を補うために、単語ではなく文字単位のn-gramで一致を測るchrF（chrF++はこれに単語ユニグラム・バイグラムを加えたハイブリッド版）が提案されました。文字単位で見るため、活用や語形変化の多い言語でもBLEUより人間評価との相関が高いとされます。もう1つの代表的な指標がTER（Translation Edit Rate）で、こちらは訳文を参照訳と完全一致させるために必要な最小の編集操作数（挿入・削除・置換・語順の入れ替え）を数える編集距離ベースの指標です。BLEU・chrFとは逆に、数値が小さいほど品質が高いことを示します。

COMET・BLEURT・MetricX｜人間評価を学習したニューラル指標

表層一致の限界を乗り越えるために登場したのが、事前学習済みの多言語モデルをベースに、人間の評価データで学習した回帰モデルで品質を予測する「ニューラル評価指標」です。代表格がCOMET（Rei et al., 2020）で、XLM-RoBERTa系の多言語エンコーダに原文・機械翻訳の出力・参照訳の3つを入力し、WMTが集めた人間評価データ（Direct Assessment・MQM等）を教師データにした回帰モデルでスコアを予測します。同様の発想の指標として、Googleが開発したBLEURT（Sellam et al., 2020）は、大量の合成データで事前学習したうえで少量の人間評価データでファインチューニングする2段階のスキームを採用しています。

より新しい指標として、Googleがmt5をベースに開発したMetricXや、COMETの発展形で品質スコアに加えて「訳文のどこが誤っているか」までをエラースパンとして検出できるxCOMETがあります。WMTが2022年に公表した公式の結果論文は、タイトルからして「Stop Using BLEU」という強い表現で、ニューラル指標の方が人間評価との相関が高く頑健であると結論づけています。2024年のWMT24結果論文でも、大規模言語モデル（LLM）による訳文が増えた条件下でも、ファインチューニング済みのニューラル指標が高い性能を維持すると報告されました。

出典: 各指標の原論文（本文中リンク参照）。COMET系・MetricXの学習データはWMTのDirect Assessment・MQM等の人間評価。MetricXは他指標とスコアの向きが逆（0〜25の誤りスコアで低いほど高品質）である点に注意。

参照なし品質推定（QE）｜正解訳文なしでスコアが出る仕組み

COMETの原論文で提案された「COMET-QE」や、その発展形であるCometKiwi（Rei et al., WMT2022）は、原文と機械翻訳の出力だけを入力にして品質スコアを出す「参照なし品質推定（Quality Estimation, QE）」というアプローチです。人間の翻訳者が模範解答なしでも訳文の妥当性を判断できるのと同じように、多言語エンコーダで原文と訳文の意味的な整合性・流暢さを直接推定します。

この「正解の訳文が要らない」という性質は、そもそも模範解答が存在しない場面で活きてきます。同時通訳やカスタマーサポートのリアルタイム翻訳、自社サイトを多言語展開した際の品質監査のように、あらかじめ人間が作った「正解訳」を用意できないケースでも、参照なしQEなら訳文の品質をその場でチェックできます。

04.Hugging Faceで使える翻訳品質評価モデル

ここまでの指標のうち、COMET系・MetricXは学習済みモデルがHugging Face上で公開されており、手元の環境でそのまま使えます。

CometKiwiファミリー｜wmt22・wmt23・XCOMET

開発元Unbabelは、パラメータ規模の異なる複数のCometKiwiモデルを公開しています。最も軽量なUnbabel/wmt22-cometkiwi-daはInfoXLM-largeをベースにした参照なしQEモデルで、94言語をカバーします。より大規模なwmt23-cometkiwi-da-xl（3.5B、GPUメモリ15GB以上が目安）・wmt23-cometkiwi-da-xxl（モデルカード記載で10.5B、Unbabel公式ブログでは10.7Bと表記に差異あり、GPUメモリ44GB以上が目安）は、WMT2023のQE共有タスクで高リソース・低リソース両方の言語ペアで1位を獲得したとUnbabel公式ブログが発表しています。さらに、品質スコアに加えて訳文のどこが誤っているかをエラースパンとして検出できるXCOMET-XL・XCOMET-XXLも同じファミリーとして公開されています。ライセンスはいずれもcc-by-nc-sa-4.0（非商用）で、商用サービスへの組み込みにはUnbabelの許可が必要です。

出典: 各モデルのHugging Faceモデルカード、Unbabel公式ブログ。パラメータ表記に一部差異があるため、正確な数値は利用前に各モデルカードで確認することを推奨。

Google MetricX・BLEURT

Googleはgoogle/metricx-23-xxl-v2p0（参照あり）・google/metricx-23-qe-xxl-v2p0（参照なしQE）をLarge・XL・XXLの3サイズでHugging Face上に公開しています。ライセンスはApache-2.0で、CometKiwiファミリーより利用条件が緩やかです。前身のMetricX-23はMetricX-24論文本文で「WMT23 Metrics Shared Taskで総合2位」と報告されています。BLEURTについては、Google公式配布のモデルはHugging Face上には見当たらず、コミュニティによる移植版（例:lucadiliello/BLEURT-20）が公開されている状況です。公式実装はGitHub（google-research/bleurt）から取得できます。

ライブラリでの使い方｜unbabel-comet・evaluate

CometKiwi・XCOMETは、公式のPythonパッケージunbabel-comet（PyPI、Apache-2.0ライセンス）から利用できます。参照訳なしでスコアを出す場合は、CLIツールcomet-scoreにモデル名を指定するだけです。

pip install unbabel-comet

# 原文(src.txt)・翻訳文(hyp.txt)のみでスコアを算出（参照訳は不要）
comet-score -s src.txt -t hyp.txt --model Unbabel/wmt22-cometkiwi-da

# 参照訳(ref.txt)がある場合に、複数の翻訳システムを比較する
comet-compare -s src.txt -t system1.txt system2.txt -r ref.txt

Hugging Faceのevaluateライブラリからも、参照ベースのCOMETをデフォルトモデルとして呼び出せます。

from evaluate import load

comet_metric = load("comet")  # デフォルトは参照ベースの Unbabel/wmt22-comet-da
result = comet_metric.compute(
    predictions=["これは機械翻訳の出力例です。"],
    references=["これは正解の参照訳の例です。"],
    sources=["This is an example machine translation output."],
)

軽量なwmt22-cometkiwi-daはCPUでも動作範囲に収まりますが、3.5B以上のxl・xxl系モデルは実務上GPU環境が前提になります。大量データのバッチスコアリングや低レイテンシが必要な場面では軽量モデル、エラースパンまで含めた精密な検証が必要な場面ではXCOMET-XL/XXLのような大規模モデルがおすすめです。

05.TOEFLの自動採点｜e-rater・SpeechRaterと人間のハイブリッド

機械翻訳の品質評価とよく似た発想が、人間の語学力そのものを機械で採点する領域にも存在します。ETSが運営するTOEFL iBTでは、ライティングの自動採点エンジンe-raterと、スピーキングの自動採点エンジンSpeechRaterが使われています。e-raterは文法・語法・構成・語彙の多様性などを、人手採点済みの大量データに対する回帰モデルで評価する仕組みで、ETS公式によれば独立課題は2009年、統合課題は2010年後半から人間採点者との併用が標準運用になりました。SpeechRaterは音声認識と特徴量抽出をベースにした採点エンジンで、2006年からTOEFL Practice Onlineで、また本試験のTOEFL iBTでも使われています。

TOEFLの本試験（高い判定精度が要求される場面）では、自動採点だけで完結させるのではなく、人間の採点者とスコアを組み合わせる運用になっています。ETS公式は「本試験では自動採点エンジンを人間の採点と併用する」と明記しており、「AIが主で人間は例外対応のみ」という運用を公式に明言した情報源は見当たりませんでした。機械翻訳のCometKiwiが完全に自動でスコアを出し切るのに対し、TOEFLは人間とAIの合成スコアという、もう一段階慎重な設計になっています。

06.Versantの自動採点｜Pearsonの完全自動スピーキングテスト

一方、Pearsonが提供するスピーキングテストVersantは、TOEFLとは異なり人間の採点者を介さない完全自動採点を採用しています。公式のTest Description and Validation Summaryには「人間の試験官は不要（A human examiner is not required）」と明記されており、6つのタスクのうち5タスクは音声認識と統計モデルによって自動採点されます（自由回答であるOpen Questionsのみ、正式スコアの対象外という運用）。Versantはもともと1996年設立のOrdinate Corporationが開発した技術で、2008年1月にPearsonへ統合されました。

気になる採点精度について、公式のValidation Summaryには機械採点と人間採点の相関係数が具体的に示されています。検証サンプル（n=143）でOverallスコアが0.97、発音（Pronunciation）でも0.88と、いずれも高い相関を報告しています。

なお、Pearsonが提供する別のテストPTE Academicのスピーキング採点にもVersantと同じ音声採点技術が使われていますが、公式スコアガイドによれば、Describe Image・Retell Lecture・Respond to a Situation・Summarize Group Discussion・Summarize Written Text・Write Essay・Summarize Spoken Textの7問題タイプについては、内容面のスコアをAIと人間のダブルスコアリングにする（両者が食い違った場合は人間が最終判断する）運用です（Pronunciation・Oral Fluencyは引き続きAIのみで採点）。この二重採点がいつから始まったかはスコアガイドに明記されていませんが、Versant English Test本体（人間採点者が不要）とは運用が異なります。

07.英語以外の語学試験は今も人手採点が主流

では、英語以外の言語の公的な語学検定試験ではどうでしょうか。今回、各試験団体の公式資料を確認した範囲では、ライティング・スピーキングの採点は今も人間の評価者が中心という試験がほとんどでした。

出典: 各行の試験名リンク先（各試験団体の公式サイト・公式PDF）。中国語（HSK・HSKK）・韓国語（TOPIK）・スペイン語のオンライン試験（SIELE）の採点方式は今回の調査で確証を得られなかったため、この表には含めていません。

表の通り、Pearsonが英語だけでなくスペイン語・アラビア語・オランダ語・フランス語でも完全自動採点のVersantを提供している一方、各言語の公的な検定試験（DELE・Goethe-Zertifikat・TCF・DELF/DALF）は、いずれもライティング・スピーキングを人間の評価者が担当し、多くは複数採点による相互チェックの仕組みを持っています。「英語圏の民間テストほど自動採点の実用化が進んでいない」というのが、確認できた範囲での実情です。

08.機械翻訳の評価と語学試験の採点、何が同じで何が違うか

ここまで見てきた4つの領域を、自動化の度合いで並べ直してみます。

機械翻訳のQEとVersantは、どちらも「模範解答（参照訳・模範発話）なしに、人間の評価データを学習したモデルが単独で判定する」という点で最も自動化が進んだ領域です。TOEFLは自動採点を導入しつつも人間の判断を最終防波堤として残す設計、非英語の公的検定試験は今も人間の複数採点が土台という、明確なグラデーションが見えてきます。この差は、誤判定のコスト（進学・就労の可否に関わる高リスクな判定かどうか）と学習に使える人間評価データの量の2つが影響していると考えられます。英語は受験者数が多く学習データを集めやすい一方、個別言語の検定試験は母数が小さく、自動採点モデルを高精度に学習させるためのデータが相対的に集めにくいという構造的な事情がありそうです。

09.自社で翻訳品質を測るには

ここまでの内容を踏まえ、自社で機械翻訳の品質をチェックする際の実務的な進め方を整理します。

いずれの指標もあくまで「人間評価を学習した近似モデル」であり、完璧な正解ではありません。低スコアの訳文を機械的に切り捨てるのではなく、閾値以下・境界のものだけ人手でレビューするハイブリッド運用（TOEFLのe-raterと同じ発想）にすると、精度とコストのバランスが取りやすくなります。

10.よくある質問（FAQ）

11.まとめ

機械翻訳の品質評価は、BLEUのような表層一致の指標から、COMET・MetricXのような人間評価を学習したニューラル回帰モデルへと軸足を移しています。Hugging Face上のCometKiwiファミリーは、正解の訳文が無くても品質スコアを出せる参照なし品質推定（QE）として実務でも扱いやすく、規模に応じて軽量版から大規模版まで選べます。同じ「人間評価を学習したモデルが判定を代行する」という発想は、TOEFLの自動採点（人間との併用）やVersant（完全自動）にも共通していますが、英語以外の言語の公的な検定試験は今も人手による複数採点が中心という違いも見えてきました。

自社の翻訳AIツールの精度を客観的に比較したい、多言語展開した自社サイトの品質を継続的にモニタリングしたいといったニーズに対して、どの指標・モデルをどう組み合わせるかは、扱う言語やデータ量によって最適解が変わります。