「PROGOS®」を支える技術力 ｜#7｜AI×Speaking Test
《今回のポイント》
・音声認識技術と自然言語処理技術を組み合わせた技術
・オープンクエスチョンでも採点できるAI
・組織力で支える技術開発
技術的側面から「PROGOS®」を見てみると…
「PROGOS®」は、レアジョブが自社開発したプロダクトです。グループ会社で技術開発やAIに関する研究開発などを担うレアジョブテクノロジーズが、開発から運用、改善までを一貫して担っています。
同社でAIに関する研究開発を主に担っているEdTech Labのデータサイエンティストの水谷さんに、技術的側面から考える「PROGOS®」の特長を伺いました。
Q. 「PROGOS®」はどのように運用されているのですか？
水谷さん：
「PROGOS®」は受験者の話した英語を採点するテストなので、音声認識技術はもちろん、自然言語処理技術も重要です。機械学習にかかわる知見や技術を常に高めながら、プロダクトの改善も日々行っています。
また、ビジネスサイドの観点での基盤づくりに注力しているのも特長です。「PROGOS®」は企業や教育機関などで活用されているので、一斉大規模受験を支えるためのオートスケーリングが必要になります。また、自動採点のモデルに異常や精度劣化がないかモニタリングする運用においても、レアジョブテクノロジーズの技術力が反映されています。
Q.「PROGOS®」の特長的な強みは？
水谷さん：
最も特長的な強みは「オープンクエスチョンと読み上げ問題を組み合わせ、リアルに英語を話すシーンに近い状況での英語スピーキング力を測定できること」です。
オープンクエスチョンというのは、自由に解答できる質問です。たとえば「昨日は何をしましたか？」「あなたの夢を教えてください」といった質問で、答え方は十人十色です。対するクローズドクエスチョンは「はい／いいえ」「AかＢかＣのどれか」など、解答の種類が決まっている質問です。
どちらの採点が難しいかというと、当然ながらオープンクエスチョンです。「PROGOS®」のAIは、受験者の語彙が正しいか、文法が正しいか、発音が正しいかといった部分に加え、質問に対して答えの内容が適切か、といった観点でも採点します。ここに、膨大な解答パターンを学習して採点する機械学習の技術と、受験者の話した言葉を適切に分析するための音声認識技術と自然言語処理技術が用いられています。
また、読み上げ問題では、流暢さや発音のレベルを判定します。オープンクエスチョンでは語彙力や一貫性を判定し、これらの組み合わせによって、CEFRに基づく7つの指標それぞれの評価をできるのが「PROGOS®」の強みです。
技術力を支える組織力
技術進化のトレンドを取り入れながらプロダクトをアップデートさせていくうえでは、組織全体の技術力も重要になります。
Q.「PROGOS®」には、レアジョブテクノロジーズとしてのどんな技術力が反映されているのでしょうか？
水谷さん：
「PROGOS®」には複数のテストセットがあり、受験のたびにまったく同じ問題が出題されるわけではありません。新しいテストセットに対応する場合や、既存のテストセットでも時間経過とともに問題の対策が進みます。
そういった新たな回答のパターンに対応するためには、モデル開発の実験を大量に行う必要があります。以前は、実験ごとに手動でサーバーを起動して実験の進捗状況を目視で確認する…といった作業を行っていた時期もありました。
現在はAWSのSagerMakerに移行しており、コードを編集して学習開始のトリガーを起動するだけで、自動でサーバーを起動 ->学習を実行->学習が終了したらサーバーを停止までを行ってくれるので、体験としてはコードを書くだけで実験ができるようになっています。こういったインフラへの投資により、効率的なモデルの開発・運用ができる体制になっています。
例）
・モデルを安全・簡単に更新できるマイクロサービスの設計
・数百人の同時受験に耐えうるインフラ
・実験の管理、CI/CDパイプライン、性能モニタリングなどのMLOps
テクノロジーの進化の先にある英語学習やプロダクト
日進月歩の技術進歩やトレンドを取り入れながら「PROGOS®」をはじめ、音声認識技術を活用したプロダクトはさらに発展していくと見込まれます。
水谷さん
：テクノロジーと英語学習という点で言えば、日本人の英語学習者と「PROGOS®」のようにAIを使ったプロダクトは相性がいいと思います。もともと、日本人にとって英語のテスト＝筆記試験が多く、英語を話す練習や評価される機会が少ないと言われてきました。話す力は話す練習によって上達するものですが、「間違うと恥ずかしい」と感じる人は少なくありません。その点、AIによるスピーキングテストや対話であれば、対人間より心理的ハードルが下がるのではないでしょうか。
テクノロジーの進化、特に音声認識技術の精度向上によって、語学関連プロダクトは飛躍的に発展を遂げています。AIビジネススピーキングテスト「PROGOS®」にも多彩な技術が組み込まれているように、技術のトレンドと連動してますます進化していくことが期待されます。
（プロフィール）
大学時代に英語のアウトプットの練習のためにレアジョブ英会話を始めた。その後、海外大学院に進学し、そこで触れた機械学習の面白さに惹かれ、機械学習エンジニアになる。
前職では主に深層学習を使った画像認識のプロジェクトに携わる。現在はPROGOS®の、自然言語処理、音声認識、MLOpsに従事。
マガジントップ：【よくわかる！解説マガジン】AI×スピーキングテストはこちら
今回は、「PROGOS®」を支える技術力についてご紹介しました。
本シリーズでは、AIを用いたスピーキングテストを下支えする音声認識技術など、テクノロジー界隈の情報とトレンドをまとめてお届けしてきました。
取材をご希望の方、本件に関してのお問い合わせはこちら
株式会社レアジョブ 広報
メール：press@rarejob.co.jp
【レアジョブが提供する英語関連サービス】
オンライン英会話サービス「レアジョブ英会話」
ビジネス英会話コーチング「スマートメソッド®コース」評価指標のCEFR
AIビジネス英語スピーキングテスト「PROGOS®」