MLテスターって？

初めまして。
博多のベンチャー企業、アーニーMLGで働くnanと申します。
元は調理師で免許も取得してます。
自己紹介は話せば長くなるのでまた次回がありましたら👌

私はつい先日アノテーション業務(書き起こし)からテスターへと異動しました。今回は普段テスターとしてどんなことをしているのかを書いていこうと思います。
伝えたいことを言語にすることが苦手なので暖かい目で読んでくださると嬉しいです。

​

まず始めに

テスターとは？

アーニーMLGのテスターに関する記事がすでに執筆してありますのでそちらを覗いていただけると!

アーニーMLGには2つのテスター業務が存在します。

QAテスター⇒仕様をもとに不具合やユーザビリティをチェックする
主な役割　 ⇒開発中Webサービスの不具合チェック

MLテスター⇒結果をもとに効果的な精度改善の仮設構築を行う
主な役割　 ⇒調査検証、データの準備などのエンジニアの補助、課題発見

MLテスターではエンジニアの補助もそうですが、データ・書き起こし結果に最も触れているためエンジニアに先行して課題発見ができるポジションでもあります。
私はQAテスター・MLテスターの両方の業務に携わり、とても貴重な経験をさせていただいています。

大変じゃないの？と思う方もいるかもしれませんが
エンジニアから依頼があった一つの調査に対してテスター全員で作業するわけではなく、自身が持っている仕事量などで依頼を受け持つか決めることもできます。なにより、全ての依頼に携わることが難しいです。
そうすると受け持っていない依頼ではどのような作業をしたのか、調査結果の記録されたメモを見ないと分からないままになってしまいます。音声認識の調査ではさまざまな要因があるためできるだけ依頼の作業方法や結果を全体にスムーズに共有したい。ということから、週に1回テスターミーティングが実施されています。

初めはテスターってなんなのか、どんなことをするのか、私にできるのか不安でたまりませんでした。そんな不安を抱えながら、テスターとして初めて行なった調査を一例としていきます。

MLテスターってどんなことしてるの？

何から始めていいのか、ツールの使い方もいまいち分からない状態の私でしたが、ぴらのさんに手ほどきしていただきながら以下の調査をしていきました。

発話区間(認識対象の話者)に重複する会話とは関係ない話者がどこまで影響を与えているか。
例：認識対象話者であるＡさんが一人で喋っているが、後ろで関係ないＢ、Ｃさんが会話している。

調査の大まかな流れ
・現状の課題把握
・影響のある、ない音声の割合を把握、分析
・自分なりに仮説構築
・調査

調査の前に必須なのがToDo(やることリスト)の作成です。
・自身のメモにもなり優先順位を可視化することができる
・作業の方向性にズレがないか他の人と情報共有できる
・作業の細分化(区切る)
などのように、やるべきことを明確化させることで今自分が何をすべきなのか、効率的に仕事を進めるためにもToDoの作成が必須になります。

では今回の調査ではどんなToDoを作成したのか。
(この調査では仮説構築からToDoを作成したといえますね)

・背景音声ノイズありなしだとどのぐらい精度が違うのか
・他のエラー要因はないか
・どんな録音環境か
・話者数とエラー率は相関するのか
・発話の重複している区間のエラー率は相関するのか
・上記の中から特徴が見つけられないか地道にさがす

タスクが大きすぎると週ごとでタスクを分けて調査、もっと細かくToDoを作成する場合があります。例えば、１週目の調査で「どんな録音環境か」に問題がありそうと判断し、もっと調査したいときは２週目で更に細分化して調査していくという感じです。

さて、皆さんお気づきでしょうか？
ToDoリストの中の「特徴が見つけられないか地道にさがす」これってわざわざToDoにしなくてもいいんじゃない？とお思いでしょうが、
エンジニアから調査依頼があり調査をしていくのですが、音声認識で明確な答えを出すのって本当に難しいからです。
できる限り調査し、結果を報告、他にもこういう問題がありそうです！とエンジニアに共有しその後のアプローチがテスターで難しい場合はエンジニアとミーティングしアドバイスをもらう、またはエンジニア側で解決してもらう形になります。

難しく考えることもありますが困ったことがあれば
基本的にエンジニアが助けてくれます！

自分たちで調査できる範囲の中でも、ぶっちゃけ調査の最中は頭を抱えます。どうしてだ〜、なんでこうなるんだ〜と頭の中で思っています。そんな中で調査達成ができるとかなり爽快です。

エンジニアから依頼された作業をただ単にこなすだけではなく、作業をしていく中での気づき、所感を持つことも結構重要だったりします。なぜかというと、作業をしていく中で新しい課題を発見することが多々あるからです。
これが課題発見ができるポジションにいる役割でもあると思います。
なので、自分なりに考えて行動することもときには必要です。ただ本来の調査の要点からずれることがあるのでタスクは切り分けて再度調査していくことが大事です。

やりがい

アーニーMLGで働いているとやりがいがたくさんあります。
私としては精度の向上、私も音声認識の開発に貢献できることです。
また、褒めてもらえること。何かしら結果がでたとき、何歳になっても褒められると嬉しいものでまた頑張ろうとモチベーションにも繋がります。

同じ調査依頼がくるなんてことはほとんどなく、仕事に対して達成感があり、毎日が充実して刺激のある日々です。

私にとって

アーニーMLGとは

働きやすく楽しい職場です！
(こんなに働きやすい職場が他にあるのかなと思うぐらい)
拾っていただいた引きこもり人事の松永さんにはとてもとても感謝しております。

エンジニアとテスターの距離も近く、ドリンクやフードも充実、仕事もしやすい環境です。またコミュニケーションの一環として、飲み会(現在自粛中)やslackを使ったゆる～いコミュニケーションなどもあって、笑いのある楽しい毎日を過ごさせていただいています。

最後に

アノテーションあるある
業務外で聞いた声を頭の中でアノテーションしようとしちゃいます