英検がAIによる自動採点を本格導入予定

英検がAIによる自動採点を本格導入予定

日本英語検定協会は、AIによる英検のスピーキングテストとライティングテストの自動採点実証研究を共同で進めています。2018年の10月にはこの研究の結果を受けて、AIによる自動採点を本格導入する予定であることを発表しました。日本英語検定協会が公開する研究レポートなどの情報をもとに、実証研究ではどのような成果がみられたのか、AIによる自動採点にはどのようなメリットが期待できるのかといった情報をお伝えします。

実証研究の概要と結果

日本英語検定協会は サインウェーブ社(技術提供は中国の iFlytek社) と共同で、2016年度に実施された英検4級、5級のスピーキングテストの過去受検データをもとに一部のデータで機械学習を行い、残りのデータで自動採点と採点者による採点との一致率を含めた各種指標を算出しました。

その結果、英文の音読タスク形式の問題に関しては、級や問題に関係なく約98%の一致率となることがわかりました。英文に関する質問に答えるタスクとイラストに関する質問に答えるタスクは、音読タスク形式に比べて採点の難易度が高いものの、一致率は平均で約95%でした。これらの結果から、「自動採点によって人間の採点者と遜色ない採点ができる」と考えられると判断されました。4級で出題された、受験者自身に関する質問に答えるタスクでは、他の問題に比べて一致率が下がっていましたが、精度については学習データ数を増やしたり、学習アルゴリズムの改善や学習モデルの改善を図ることで、向上が見込まれます。

AIによる自動採点を導入するメリットとは

自動採点の導入により、採点時のコストや採点時間の軽減が期待できると考えられています。しかし、各英語試験における自動採点は、まず人間の採点者による一定数の採点結果を用いて機械学習が行われ、最初の機械学習時点で与えられた回答パタンにないイレギュラーな回答は、人間の採点者による採点結果とは異なるものが付与されてしまう可能性が示されています。そのため先行研究では、自動採点のみを運用するのではなく、人間の採点者と組み合わせると、人間の採点者による採点エラーや自動採点による採点エラーを防ぐことができるとされていました。日本英語検定協会は、英検におけるAIによる自動採点の主な特徴として、次の4つを挙げています。

・品質を保持したままでの24時間稼働の実現

・人間による通常採点を補完する採点精度の向上

・採点時間の短縮→採点期間短縮の実現

・無回答や白紙答案仕分けによる採点者の負担軽減

実証研究の結果を受けて、日本英語検定協会は英検（従来型）のライティング試験の1級、準1級、2級、準2級、3級とスピーキングの4級と5級、また英検CBTのライティングとスピーキングの2級、準2級、3級で、2019年度から自動採点を導入する予定であると公表しました。また、英検（従来型）のスピーキングテストの1級、準1級、2級、準2級、3級でも、随時導入していく予定です。