2021年研究活動まとめ

yonetaniryo

2020年に引き続き、2021年の活動を備忘録的にまとめてみます。

月ごとの振り返り

研究日誌

研究日誌 on Gitlab
月初めに予定を書き下す（そしてどんどん増える）
日々思ったことを書き連ねる。チームのメンバーには見えるようになっているので、時折コメントが入る（ありがたい）

昔から日々の研究活動を日誌につけるようにしており、博士課程の頃はEvernote、その後Dropbox Paper、生テキストファイルなどを経て、現職ではGitlabのIssueを利用しています。なんだかんだ10年以上続いている日課で、時折過去の日誌を読み返して懐かしんだりしています。今回の備忘録も基本的にはこの日誌からの抜粋です。

2021/01

Neural A*をICMLに再投稿すべく論文の書き直しを進めていました。同論文は昨年末にAAAIで不採録となったものの、機械学習的な新しさは十分に認められていたので、分野をAI全般→MLに切り替えての挑戦でした。執筆にあたっては、共同筆頭著者の谷合さんにずいぶんお世話になりました。彼の執筆能力は卓越しており、お陰で僕は実装や実験に集中できました。

IJCAIとICPRで発表もしました。

2021/02

次年度のテーマを考えていました。Neural A*は基本的にはグリッドベースのA*探索なので、たとえば連続空間だったり高次元空間だったり、あるいは複数エージェントがいる場合や環境が動的な場合だったりといった、より実践的な問題設定には全く適用できません（ただまあこれはこれで良くて、まずは基本的な問題設定からやっていくべきだと考えていました）。あり得そうな筋としてはPRMのようなサンプリングベースのプランナーに拡張するか、あるいはA*探索をベースとしたマルチエージェントの経路計画に拡張するかだなあと考えつつ、どちらも全く詳しくないので勉強していました。加えて、オフラインRLが流行っているということでチュートリアルやら最近めの論文やら読んで勉強していました。

2021/03

引き続き次年度テーマ創出に向けて経路計画とオフラインRLの勉強をしていました。そのような中、ICMLの査読が返ってきてリバッタルのために大量に実験を回しました。査読者に要求されたベースライン手法の一つについて実装が非自明だったのでなかば諦めていたのですが、谷合さんが文字通り一晩で実装プランを捻り出してくれた & 3rdで入っていたAminが作ってくれたコードベースが拡張性に優れていたおかげで、簡単な実装と数日の試行錯誤で要求に応えることができました。こういう連携技が発動できるのがチームで研究する強みの一つですね。

インターン募集要項をぽちぽち作ったりもしていました。

2021/04

慶應大の斎藤英雄先生の研究室の特任講師（兼業）として、連合学習に興味のある学生何名かと研究を進めることになりました。連合学習に関する成果は2019年に東工大の西尾さんと発表した一本だけなのですが、それがまあまあ跳ねているのと、国内に連合学習やってる人があまりいないというので、色々とお仕事をいただけることになりありがたいことです。あとはCREST申請のお誘いを受けてぼちぼち申請書を書いていました。

2021/05

死んでました（※落ちました）

CREST申請で死んでいました。ひたすらSociety5.0に想いを馳せる日々。そのような中、Neural A*がめでたくICML採録となりました。主著でトップカンファ通ったのはICCV2017以来実に4年ぶりのことでした。

ちなみに査読自体はしっかりしていて、その上でメタレビュワーに助けてもらった感じでした。

The reviewers all found the paper to introduce some interesting ideas, but value the different pros and cons of the paper differently. On one hand, the paper is introducing a relatively novel approach that could inspire further work in this direction. On the other hand, the current demonstrations are limited to 2d grids, which leaves the generality of the approach in question. The reviewers do agree that there are some plausible ways to extend, for example, on graph search problems. In addition, the authors could have done a better job at relating to prior work (prior to deep learning craze) that addresses related issues as pointed out in reviews.

Overall, the meta-reviewer considered the paper and found it to be well-written and agree that the approach is on the novel side. While the current demonstrations are limited, they are not trivial and offer a reasonable hope that the approach can be useful. The novelty and potential to inspire future work arguably outweighs the current limited demonstration.

あとは、東工大の奥村さんが長期インターンでいらっしゃり、機械学習を活用した連続空間でのマルチエージェント経路計画について研究を進めてもらっていました。上に書いたとおり、「連続空間」や「マルチエージェント」が扱えることは機械学習ベースの経路計画を進めていく上で重要なマイルストンであり、そこにマルチエージェント経路計画のエキスパートである奥村さんが来てくださったのは本当にありがたいことでした。奥村さんのインターンの様子は彼のブログでも読むことができます。

2021/06

MIRUというコンピュータビジョン分野の国内シンポジウムがあり、その財務委員長をしていたのですが、忙しくて死んでいました。また、MVAというマシンビジョン関連の国際会議でもPublication Chairをしていて、その仕事もまあまあ忙しい感じでした。査読もそうですが、研究会の委員や国内外会議のチェアの仕事がたくさん出てくるのは致し方ない年齢になっているので、そういった仕事がある前提で他のスケジュールを組んでいく必要があります。僕なんかはまだ仕事が少ない方で、同僚の牛久さんや橋本さんはもっと色々引き受けていそうです。

2021/07

会社の技術誌に寄稿する原稿を執筆したり、相変わらず研究費の申請書を書いたり、学会仕事をしたりと、バタバタしながら過ごしていました。

そのような中、Neural A*のICML採録が本社からニュースリリースされました。トップカンファ採録→ニュースリリースというのは最近のAI企業あるあるですね。 同ニュースリリースは多くの方々に見ていただけたようで、後日日経ロボティクスにも取材をしていただきました。Neural A*自体はできることが非常に限られているのですが、内容のキャッチーさもあり、広告塔としては非常に優秀な役割を果たしてくれたと思います。

論文と合わせてコードも公開しました。

2021/08

改めて日誌を読み返すとこれといって特筆すべき仕事をしているわけではないんですが、裏を返すとそういう名前のつかないような細々とした仕事をひたすら片付けていました。

2021/09

論文投稿シーズンです。奥村さんとの連続空間マルチエージェント経路計画の仕事をAAMASに向けてまとめたり、NAISTからのインターン北村さんと強化学習ライブラリに関する論文をNeurIPSのDeep RL Workshopに投稿したりしていました。

北村さんのライブラリは、ワークショップ投稿後にJAX化してみようという話になり、その流れで自分自身もJAXの勉強を始めました。その辺に転がってる教師あり学習であれば適当にJAXで書いてjitするだけでもPyTorchよりconsistentに速くなるので良い感じです。ただ、そこから一歩進んで色んなアルゴリズムをjitしようと思うとそれなりに勉強する必要があり、勉強していました。

2021/10-11

ひたすら査読したり出前講義したり、あとは例によって名前のつかないような細かい仕事をしばきつつ、余った時間でJAXの勉強をしたり、AAMASに投稿したマルチエージェント経路計画の後続研究を考えたりしていました。

11月にはACMLでモバイルロボット関連のワークショップを開催し、50名ほどの方にお越しいただけました。この時期というのは通常CVPRの投稿シーズンなのですが、ここ最近コンピュータビジョンから離れているので投稿もなく、結果として上記のようなこまい仕事をこなし続ける期間になりました。

2021/12

年末です。コロナもこの時期は割と落ち着いてきていたので、週1とかでお昼ご飯だけ食べに出社していました。

幸いにもAAMASには一発採録となりました。これはとても良い仕事です。詳細についてはまた近日中にプレプリントを公開できればと思います。

総括

会社としては定常的に論文成果を出せる状態になったので、次はインパクトのある仕事ができるようにと、比較的インプットに時間を割いた一年でした。マルチエージェント経路計画やオフラインRL、JAXなど、今後の仕事で重要になりそうな技術をしっかり勉強できたのは良かったです。

毎週の生活

毎週の生活を振り返ると、プロジェクトごとの週次ミーティングが週合計3-5時間ほどあり、また会社全体の研究ミーティングや運営ミーティングが週2-3時間程度ありました。さらに時期によっては査読や学会仕事、研究費の申請が入ってくることになります。それらを差し引いた残り時間を使って、上記のような勉強をしたり、自分の研究を進めたり、インターンや指導学生のメンタリングをしたり、あとは会社の運営に関する種々の仕事をしたりしていました。完全に主観ですが、同年代（30代中盤）の中では自由に活動している方かなと思います。（共著であっても）自分自身でプログラムや論文を書きながら主体的に研究するというのは個人的に重要かつ継続したいことであり、また会社としてそれができる環境を維持したいと考えています。

機械学習x経路計画

研究については、機械学習を活用した経路計画について、ICML 2021 and AAMAS 2022 (to appear) とメジャーな国際会議で成果が出始めたのが良かったです。非MLな経路計画アルゴリズムやその実装を突き詰めていく vs 強化学習などによりエージェントの移動方策をend-to-end で獲得する、のいずれかではなく「既存アルゴリズムが上手く機能するような問題の表現方法をMLで学習する」という折衷案が強力なアプローチになると信じて研究を進めています（この辺はまたいずれ）。このトピックはStandord ASLやGoogle Brainがかなり強いのですが、機械学習的な観点ではまだまだ研究の余地が大きく、またマルチエージェントや動的環境など論文の総数が（ML激戦区と比較して）少ない問題設定も多く残されているように見えます。つまり、ML分野から参入して良いポジションを取る絶好のタイミングだと思います。

研究活動における軸足

とはいえ、流行りや短期的な興味に流されて「ただ色々な仕事に手を付けているだけ」という状態になるのは避けたく、やはり日々研究に取り組むうえで「自らの研究活動における軸足」はしっかり定めておきたいと考えています。僕個人の研究活動については、人計測とか映像解析とかを軸に、その基盤技術や応用先として経路計画だったり連合学習だったりをしているなあと（あとから見返して）まとめなおすことができます。このあたりは京大電気系の懇話会で少し紹介しました。

最後に

OSXでは継続的にインターン・パートタイムで研究をご一緒できる方を募集しています。個人的には来年度以降もしばらく機械学習ｘ経路計画や連合学習をしていると思いますので、ご興味がある方はメールやTwitterなどでぜひご連絡ください。


この記事が気に入ったらサポートをしてみませんか？