2019-2020年研究活動まとめ
オムロンサイニックエックス（OSX）に転職してちょうど2年目が終わろうとしているので、転職から今に至るまでの自分の活動を振り返ってみることにしました。
OSXはオムロン傘下の小規模（10数名）チームで、2018年の春に設立されました。技術の破壊的進化や社会の変容の先にある近未来をデザインするとともに、そこで必要となるロボティクス技術や機械学習、コンピュータビジョン技術の基礎研究をしています。最近の活動はMediumやTwitterで発信しています。
自分は2018年は技術アドバイザーとして、2019年1月からはフルタイムの研究者として働いています。前職の東大助教の任期が終わるタイミングで、牛久さんに誘ってもらったのが転職のきっかけでした。
この2年はとにかく研究してました。インターンと進めるものもたくさんありましたが、並行して自分がファーストとなるプロジェクトもいくつか進めるようにしていました。あまり短期的成果を追い求めてもしょうがないんですが、一方で会社から対外成果が継続的に出ている状態に早めになりたいとも考えていました。その結果、半年くらいで結果の出そうな手堅い系のネタをいくつか着想してインターンと一緒に進めつつ、長期間かかりそうなネタは自分で引き取って取り組むようにしていました。
以下では、既にarXiv等で公開しているいくつかの仕事について、ここ2年の苦戦を振り返ってみようと思います（注: 備忘録みたいなものなのであまり何かの参考にはならないと思います）。
2019年1-3月
非集中環境GAN: それまで少しずつ手元で進めていた非集中環境でのGANの研究をICMLに投稿する。GANの学習データを複数人が分散して保持しているとき、どのようにgenerator を学習するか、みたいな話。ここから長いリジェクトトンネルが始まる。
その他: 来年度の研究構想を練る。そもそも会社には前職でやってた非集中環境での学習の話に興味を持ってもらっていたこともあり、その延長でいくつかネタを着想する。
2019年4-6月
非集中環境GAN: ICMLリジェクト（A/WA/WA/WR; GANのこのネタは今思えばこのスコアが一番高かった）。理論周りの貢献が足りないということで、理論に強い高橋さんに共著に入ってもらって補強し、NeurIPSに投稿する。
転移強化学習: 3月から来ていたインターンのAmin（現在DeepMind）がRLに興味があったので、これまでの非集中環境学習との接点として、非集中環境からの転移強化学習というネタを着想し、研究を進める。転移元環境が複数あり、それぞれ未知のダイナミクスを持っている時に、転移先でどのように方策を少サンプルで学習できるか、みたいな話。途中のマイルストーンとしてICCVのWSに投稿する（韓国1泊2日の旅）。また、これの教師あり学習バージョンを別インターンのZahidと進める。
2019年7-9月
非集中環境GAN: NeurIPSリジェクト（4/4/7）。今度はプライバシー保護周りのargument が弱いという指摘を受ける。MLで2連敗したのでCVに出すことにする。でもこのネタでMIRUポスター賞を取れたのは良かった。
転移強化学習: 死ぬ気でまとめてICLRに投稿する。Aminが帰国（ドイツ）していたので、ほぼ24時間体制で執筆が進む。Aminにコードサブミッションの整理をしてもらいつつ、自分と共著者の濱屋さんで細かいところを直す。
群衆密度予測: 前職の最後の方で人物軌跡予測をしていた関係で着想する。サーベイランスカメラ中で動く群衆が数秒後にどのように分布するかを予測する話。ちょうど軌跡予測に詳しい中部大学MPRGの箕浦さんがインターンできてくださったので、目指せCVPRでメンタリングを始める。
2019年10-12月
非集中環境GAN, 群衆密度予測: 這いに這ってCVPRに投稿する。特に群衆密度予測の細かい実験まわりをREの西村さんに見てもらいつつ、自分は論文のクオリティ向上に努める。
転移強化学習: ICLRリジェクト（8/6/1）。この1の査読者はもともと3をつけていたが、リバッタルの内容がお気に召さなかったらしくdegradeされてしまった。インターンの手前「まあリジェクトなんてあるある次頑張ろ」とか言ってたが、連敗でだいぶ気が滅入っていた。正直内容的に全然悪くないでしょって感じだった（ACもencourageしてくれてたし）ので微調整してIJCAIに投稿する。
その他: 他プロジェクトのCVPR投稿を手伝う。PRMUメンターシッププログラムで内部レビューなどする。非集中環境での学習関連でプレスリリース発表する。
2020年1-3月
非集中環境GAN: CVPRリジェクト（B/WR/WR）。実験設定など色々突っ込まれてだいぶ挫けそうになる。ちょっともう1st tierで粘るのしんどいなという気になり、BMVCを目指すことにする。
群衆密度予測: CVPRリジェクト（WA/B/WR）。こっちは↑より見込みがあったが、あと一歩押し切れず。そんななかロボ系のレターであるIEEE Robotics and Automation Letters (RA-L) でちょうど行動予測の特集号があることを知り、そちらに向けて準備を始める。
その他: 他プロジェクトのIROS投稿を2本ほど手伝う。来年度の研究構想を練る。非集中環境シリーズも（全部リジェクトされとるが）まとまった成果になりつつあるので、新しい何かをしたいと思い、微分可能A*を着想する。
2020年4-6月
転移強化学習: IJCAI条件付き採録。「1週間でこれとこれの実験足して送ってくれ」みたいなのがPCから直々に届く。Amin（微分可能A*でおかわりインターンしてた）が這って追実験をし、自分は本文のリバイスやsummary of changes の作成をする。→アクセプト！ここまで長かった。
非集中環境GAN: BMVCに投稿したがリジェクト（WR/WR/SR）。ここで挫けずに投稿を続けるといつかは通る。それはそうなんだが…が、このネタはもうやっててもツラいだけになってきたのでここでお蔵入り。
群衆密度予測: RA-Lの締切が↑のBMVCと被ってて死にかけるが、なんか結果的に締切が2回くらいextendされたので余裕を持って投稿。
微分可能A*: Aminに手伝ってもらいながら進める。A*探索を微分可能な形で再定式化することで、ニューラルネットの1レイヤーとして扱うような話。先のプロジェクトと違い、こちらは自分が実装をリードする。ginやweights & biasesなど新しいツールを使ってみる（ただ最近はgin->Hydraに切り替えた）
その他: PIになる。コロナ禍でひたすら在宅する。ヴルカヌスプログラムのインターンを一人見ていたが、自分のディレクションが不十分で投稿できるところまでたどりつかず…反省。
2020年7-9月
群衆密度予測: Major revisionで返ってくる。CVPRのharshな短文査読と違って、丁寧で建設的なコメントが届いてホロリとする。これが論文誌…。追加実験は自分で巻き取ってすすめる。比較を要求された新手法が提案手法にボロ勝ちするという緊急事態になり、頭を抱える（最終的に、これも含めて提案手法です！と言い張った）。
微分可能A*: AAAIに投稿する。これは執筆陣がかなり強く（谷合さん、Amin、西村さん、金崎さん）、自分が実験やコーディングに集中してても大丈夫という珍しい状況だった。イントロの単語1つまで調整に調整を重ねて投稿。
その他: 他プロジェクトのICRA投稿を手伝う。ロボ論文は多くの場合実機実験がついて回るが、この実験と執筆を切り分けて分担するとうまくいくっぽい。西村さんのナビゲーション論文がIROSに採録される。混雑環境でうまく群衆を避けたり避けさせたりするモバイルロボットエージェントを学習する話。
2020年10-12月
微分可能A*: AAAI リジェクト（7/6/5/4）。めちゃくちゃ長く建設的なメタレビューが届いてびっくりする。これは惜しかったので来年の採録を目指して頑張りたい。でもこれも悔しかった…。
群衆密度予測: RA-Lアクセプト！雑誌論文のアクセプトは2018のPAMIぶり（全然ジャーナル書いてない）。Open Access Feeとやらで2000ドル強支払う。普段カンファペーパーばっか書いてるとこういうところでびっくりする。
その他: Zahidの教師あり非集中環境学習ネタがICPRにアクセプト！ICPRは自分が初めて発表した国際会議でもあり、感慨深い。
まとめ
企業に移ったものの、相変わらずやっていることといえばCV/MLの研究なんですが、研究スタイルは徐々に変わってきました。トピック選定の部分ではロボ分野への応用が出来そうなものを見繕うようになったところが大きい気がします。逆にこれまでやってたCVの認識系や軌跡予測系の話とかMLのFederated Learningの話はやらなくなってきた…（が査読で飛んでくるのは主にこの2つ）。
個々のプロジェクトの具体的な遂行については、ここ最近はGitLabのMilestones/Issuesでタスクを整理するようにしていて、まあそれなりに回っている気がします。あとインターンとやるプロジェクトはできるだけ論文投稿まで漕ぎ着けたいので、現状のプランがうまくいかなかった場合のバックアッププランB, Cくらいまでは常に考えるようにしていました（だいたいプランAはこける）。
さらにいくつかのプロジェクトでは、「シミュレーション」とか「実機実験」とか「執筆」とかを複数人でゆるく分担しつつ、手分けして論文投稿に漕ぎ着けるようにしていました。(1) 人数的な制約があるが (2) 個々が研究のいろはを知っている -- という状況では、これが有効かなという気がしています。ただ、チームサイズや構成が変わってきたら、このスタイルもまた見直すことになりそうです。
最後に: OSXでは継続的にインターンを募集しています。ここでは今年度分のCall for Internsを貼っておきますが、次年度分のCallもそのうち作られると思います。インターンの方と論文を書くのはこれからも続けていきたいので、興味がある方はメールやTwitter DMなどで是非お気軽に問い合わせください。
この記事が気に入ったらサポートをしてみませんか？