学部3年で CHI のBest Paperを取ったぜ

2022年12月24日 10:42

東京大学の青木と中條です。やりましたー！ top conferenceの上位1%って素直にやったーという気持ちですね（どやっ）。
これからどうしようという感じではありますが、今回は立ち戻って楽しい学部生での研究を振り返ろうと思います。

なんの話？

僕たちは、ヒューマンコンピューターインタラクション（HCI）という分野の研究をしているのですが、研究の成果をまとめた論文「EmoBalloon」が、分野でトップ国際会議のひとつである「ACM CHI 2022」に、Best Paper（最優秀論文）として採択されました。

簡単に内容をまとめると、日本の漫画を参考にして、LINEとかMessengerの吹き出しの形を自由に変更できるようにしたら、感情が伝わりやすくなるのではないか、という研究です。

論文に興味がある人はこちらから

この記事では、Human-Computer Interaction (HCI) Advent Calendar 2022 22日目の記事として、学部生がなんで研究をすることになったのかから、楽しかったことまでをざっくばらんにまとめてみます。

論文を書き始めるまで

話が始まったのは、入学してすぐの学部1年生のときでした。僕たちは、高校時代に障害科学の勉強をしていたのですが、なんだかんだあって、特に耳の聞こえに不自由を感じている人と健聴者のコミュニケーションを支援できる方法を考えるようになっていました。

一言で「コミュニケーション」といっても、問題は色々あります。
例えば、大人数での円滑なコミュニケーションをどう実現できるのか、相手の表情と字幕を同時に見せるにはどうすれば良いのか、異なる障害のある人同士でのコミュニケーションはどうすればいいのか、字幕だけだと感情が伝わりにくいのではないか、などなど。

どれも研究としても面白そうですし、社会実装にも価値がありそうです。ざっくりとした課題意識から始まったプロジェクトでしたが、当事者の人にインタビューをしたり、色々なプログラムに応募したりする中で、段々と感情伝達に的を絞っていきました。

ここで転機になったのが、本郷テックガレージで実施されているSummer Founders Program（通称 SFP: https://www.ducr.u-tokyo.ac.jp/activity/venture/sfp.html ）です。これは僕が川原研究室を訪問した際にたまたまポスターを見つけました。

ただ参加にあたって、いくつか問題点がありました。例えばプログラミングができる人がいないとか。

ここから、マネジメントの上手いN君とプログラミングもハード系もできる万能エンジニアK君に手伝ってもらい、プロジェクトを進めることになります。N君は当事者インタビューをどんどん進めたり、K君がプロトタイプを作ってくれたりと天才っぷりを発揮してくれました。流石！

当時は、感情伝達に音声チャットが活用できるのではという方向で話を進めていたのですが、特にN君がしてくれたインタビューの中で「吹き出しの形状変化」が面白そうというアイデアが出てきました。

その後、テックガレージではプロトタイプを作っていったのですが、SFP期間（SFPは夏休みとか冬休みに2ヶ月の短期集中で行われるのです！）が終わったときに、メンターのMさんが声をかけてくれました。この取り組みは、障害のある人だけではなくもっと幅広く活用される可能性があるのではないか、まずは研究にできるのではないか、ということです。

面白そう。

Mさんに紹介していただいた、東京大学大学院情報学環のHautasaari Ari先生とのミーティングを経て、指導をお願いして研究をスタートすることになります。ここまでが学部1年生の夏のお話し。

研究では、まず吹き出しの感情評価のアンケートを取った上でプロトタイプを改善して、国内学会のINTERACTION 2020 （https://www.interaction-ipsj.org/2020/ ）に投稿しました。そこで運良くプレミアム発表に選出していただき、色んな人に話を聞いてもらうことができました。

現地開催のつもりでiOSアプリやポスターの準備をしていたのに、コロナ禍の直撃で急遽2週間前にオンライン開催が決定。アプリのWebへの移植やら、Zoom発表の準備やらを急いで進めたことを覚えています。

INTERACTION2020の後、研究を続けるか否かを先生に聞かれました。もちろんのこと続けるを選択。聞くところによるとCHIという国際学会に投稿できるかもしれないらしい。研究楽しいし、ワンチャン海外！？行ける？みたいな邪な思いも大いにありました。

ここから、CHIに向けた研究生活が始まります。
ここで学部2年生に進学。

CHIを目指し始めてから

まずは作戦を立てました。アイデアは面白いかもしれないけど、研究として多くの人に見てもらうためには、あと何段階か工夫が必要そうです。

当時の論点はこんな感じ。

どんなシステムを提案するのか
- どうやって吹き出しの形状を変化させんねん？
- どの感情にどの吹き出し対応させんねん？
- 感情はどうやって測るねん？
- どうやって入力すんねん？キーボード？音声入力？
どうやってシステムを評価するのか
- どんな実験をすればええねん？
- 何を調べればええねん？
- どんなデータが欲しいねん？

先行研究を色々読みながら、システムデザインと実験デザインを決めていきました（どうなったか知りたい人は論文を読んでください）。

でも結構時間かかりましたねー、考えるのもそれを実現していくのも。授業がたくさんあって、今週の進捗はありません、そんな週もたくさんありました（先生ごめんなさい）。

そんなこんなで、なんとか論文の形になったのが、学部2年生の11月ごろ。お気づきの方もいるかもしれないですが、CHI2021（9月締め切り）には間に合いませんでした。

CHIとは別の国際会議に投稿しました。結果はreject（採択される論文は20-40%くらいなので、結構reject、すなわち落とされます）。また別の国際会議にsubmit、がreject。なんでやねん。そんなこんなで学部3年生になります。

とりあえず、もっと評価を充実させようということで、吹き出しの形状を変えられるシステムに加えて、絵文字を使えるシステムも作って比較してみました。あと、これまでは音声入力にこだわっていましたが、一般的なキーボード入力のシステムも作ってみました。

で、もう一度実験をします。絵文字に勝てるわけないやん、という気持ちとは裏腹に、吹き出しが優秀なことがわかってきました。結構な驚きです。たくさん絵文字が使える状況と比べても、吹き出しの方が感情を伝えられるって信じられませんよねー。

その結果をまとめて、翌年のCHI 2022に投稿しました。正直こんな驚きの結果が載ってるのでaccept頼むって感じでした。結構長い期間やってるしそろそろ終わりたい。

結果はacceptっぽいやつでした。これが学部3年生の12月。その後動画を撮ったりしていたら、ちゃんとしたacceptの連絡がきました。やったー！

さらに3月ごろに学会のプログラムが公開されたのでみてみたら、Best Paperと書いてありました。嬉しいですねー。何％が選出されるかを何度も調べては嬉しくなっていました。ありがとうございます！

CHIに行ってきました

そんなこんなでCHI2022に参加して、無事発表もしてきました。CHI 2022は、アメリカのニューオリンズで開催されました。楽しかったですよ。たくさん友達もできました。

日中は他の発表を聞いたり議論したりをするのですが、自由時間もあります。朝はドーナツを食べたり、夜はジャズを聞きに行ったり、学会が全部終わった後はワニを見に行ったりしました。

おまけとまとめ

自慢ですが、レビュワー（論文を投稿すると、内容を確認してコメントをしてくれる人たち）からのコメントが非常によかったです。みんな感動してくれました。レビューに「ARIGATO」って書いてありました。頑張ってよかった。
あと、漫画を研究に取り入れたのもポイント高そうでした。どうしても欧米の研究が多いので、東洋の文化は受けも良くオリジナリティも出しやすい気がします。

日本に帰って渋谷を歩いていたら、たまたまテレビ取材を受けて、研究の話をしたら面白がってもらって、研究内容が日テレで紹介されるという面白い事件もありました。何があるかわかりません。

最後、重要です。このEmoballoon、どこかに実装してほしい。LINEとかMetaのMessengerとか使えませんか？？？？？
別に自動生成はしなくていいと思うんですよね。手動で吹き出しを選択した場合でも、ちゃんと感情伝わることも結果が出ています。

UIもあまり崩さないと思うのですがいかがでしょうか？頼むーーーー！
僕たちはインターンしたいです。

最後に自己紹介

東京大学工学部4年生の青木俊樹です！五十嵐CRESTでアルバイトをしていました。また川原先生、鳴海先生、柴田先生と研究をしています。ファブリケーションとインタラクションの研究をしています。
https://sites.google.com/view/toshikiaoki

東京大学文学部4年生の中條麟太郎です！来年は学際情報学府に進学します。コンピューターを介したコミュニケーションにおける感情伝達の研究をしています。
一緒に研究したい人は連絡ください！EmoBalloonの続きをやりたいです。
https://chujo.me

2022年12月23日 @hci_cg_student（執筆）、 @rintaro_chujo（編集）