AI系の研究・開発に関するヘッドライン｜2023/4/29

一番上の「深層強化学習による二足歩行ロボットのアジャイルサッカースキルの学習」の映像を見てほっこりしている。

小学生低学年のサッカースタイルで微笑ましいが、そのうち普通に高校生レベルになるんだろうなと今なら思ってしまう。

ChatGPT-4やgithub copilotの出現でデバイス設計に注力できる人増えたんじゃないかな？

深層強化学習による二足歩行ロボットのアジャイルサッカースキルの学習

Tuomas Haarnoja, Ben Moran, Guy Lever, Sandy H. Huang, Dhruva Tirumala, Markus Wulfmeier, Jan Humplik, See More ...

https://arxiv.org/pdf/2304.13653.pdf

我々は、深層強化学習（Deep Reinforcement Learning: Deep RL）が、低コストで小型の人型ロボットに対して、動的環境における複雑な行動戦略に合成可能な、高度で安全な動作スキルを合成できるかどうかを調査している。我々はDeep RLを用いて、20個の関節を持つヒューマノイドロボットに、簡略化された1対1（1v1）サッカーゲームをプレイさせる訓練を行いました。まず、個々のスキルを分離して訓練し、次に、セルフプレイの設定でこれらのスキルをエンドツーエンドで構成しました。その結果、転倒からの復帰、歩行、旋回、キックなど、堅牢でダイナミックな動作が可能となり、また、これらの動作の切り替えもスムーズで安定的かつ効率的で、直感的にロボットに期待される以上の能力を発揮しました。また、ボールの動きを予測したり、相手のシュートをブロックしたりと、ゲームに対する基本的な戦略性も身につけました。このような様々な行動は、小さな報酬のセットから生まれました。私たちのエージェントは、シミュレーションで訓練され、実際のロボットにゼロショットで移されました。その結果、モデル化されていない効果やロボットのインスタンス間のばらつきが大きいにもかかわらず、十分に高い頻度の制御、ターゲットダイナミクスのランダム化、シミュレーションでのトレーニング中の摂動の組み合わせにより、質の高い移行が可能になることがわかりました。ロボットは本来壊れやすいものですが、ハードウェアを少し修正し、トレーニング中の動作を基本的に規則化することで、ロボットは安全で効果的な動作を学習し、ダイナミックで機敏な動作をするようになりました。実際、エージェントはスコアリングに最適化されていたにもかかわらず、実験ではスクリプトで設定されたベースラインよりも156%速く歩き、63%短い時間で立ち上がり、24%速く蹴ることができ、同時に長期的な目標を達成するためにスキルを効率的に組み合わせることができました。出現した行動の例と1vs1のフルマッチは、補足サイトでご覧いただけます。

言語モデルが曖昧さをモデル化できていないことを危惧している

Alisa Liu, Zhaofeng Wu, Julian Michael, Alane Suhr, Peter West, Alexander Koller, Swabha Swayamdipta, Noah A. Smith, See More ...

https://arxiv.org/pdf/2304.14399.pdf

曖昧さは自然言語の本質的な特徴である。曖昧さを管理することは、人間の言語理解の重要な部分であり、コミュニケーション者として誤解を予測し、聞き手として解釈を修正することができる。言語モデル（LM）は、対話インターフェースや文章作成支援ツールとしてますます採用されるようになっており、曖昧な言語を扱うことは、その成功に不可欠である。我々は、文中の曖昧さを、他の文との含意関係への影響によって特徴付け、多様な曖昧さを持つ1,645の例文からなる言語学者の注釈付きベンチマークAmbiEntを収集する。AmbiEntに基づく一連のテストを設計し、曖昧さを認識し、可能性のある意味を切り離すための事前学習済みLMの最初の評価を提示する。その結果、このタスクは依然として非常に困難であることがわかりました。最近のGPT-4では、生成された曖昧さ解消が人間評価で正しいとされたのはわずか32%であり、我々のデータセットの曖昧さ解消では90%でした。最後に、曖昧さに敏感なツールの価値を説明するために、マルチラベルNLIモデルが、曖昧さによって誤解を招くような政治的主張にフラグを立てることができることを示す。我々は、NLPにおける曖昧さの重要性を再認識するよう、この分野に働きかける。

DataComp： 次世代マルチモーダルデータセットを求めて

Samir Yitzhak Gadre, Gabriel Ilharco, Alex Fang, Jonathan Hayase, Georgios Smyrnis, Thao Nguyen, Ryan Marten, See More ...

https://arxiv.org/pdf/2304.14108.pdf

CLIP、Stable Diffusion、GPT-4など、最近の画期的な研究成果には、大規模なマルチモーダルデータセットが役立っている。同時に、データセットがモデルアーキテクチャや学習アルゴリズムと同じように研究上の注目を浴びることはほとんどありません。機械学習のエコシステムにおけるこの欠点に対処するため、我々はDataCompを導入する。このベンチマークでは、トレーニングコードが固定されており、研究者は新しいトレーニングセットを提案することでイノベーションを起こす。Common Crawlから得た12.8Bの画像-テキストペアの新しい候補プールを中心としたデータセット実験のためのテストベッドを提供します。このベンチマークの参加者は、新しいフィルタリング技術や新しいデータソースを設計し、標準化されたCLIPトレーニングコードを実行して新しいデータセットを評価し、38のダウンストリームテストセットでテストを実施することができます。このベンチマークは複数のスケールで構成されており、4つの候補プールサイズと関連する計算バジェットは、トレーニング中に見られる12.8Mから12.8Bサンプルの範囲にあります。このマルチスケール設計により、スケーリング傾向の研究が容易になり、様々なリソースを持つ研究者がこのベンチマークにアクセスできるようになります。ベースライン実験の結果、DataCompワークフローはマルチモーダルデータセットを改善する有望な方法であることが示されました。12.8Bの候補プールに簡単なフィルタリングアルゴリズムを適用して作成したデータセットであるDataComp-1Bを紹介します。この結果得られた1.4Bのサブセットにより、CLIP ViT-L/14をゼロからトレーニングし、ImageNet上で79.2%のゼロショット精度を達成することができました。この新しいViT-L/14モデルは、LAION-2Bで学習させた大規模なViT-g/14を0.7%ポイント上回り、学習計算量は9倍少なくなりました。また、OpenAIのCLIP ViT-L/14を3.7%ポイント上回り、これは我々のモデルと同じ計算予算で学習されます。これらの結果は、トレーニングセットを注意深く管理することで、モデルの性能を向上させることができる可能性を示しています。DataComp-1Bは最初のステップに過ぎず、DataCompが次世代のマルチモーダルデータセットへの道を切り開くことを期待します。

JaxPruner: スパース性研究のための簡潔なライブラリ

Joo Hyung Lee, Wonpyo Park, Nicole Mitchell, Jonathan Pilault, Johan Obando-Ceron, Han-Byul Kim, Namhoon Lee, See More ...

https://arxiv.org/pdf/2304.14082.pdf

本稿では、機械学習研究のためのオープンソースのJAXベースのプルーニングとスパーストレーニングライブラリであるJaxPrunerを紹介します。JaxPrunerは、メモリとレイテンシのオーバーヘッドを最小限に抑えながら、一般的なプルーニングとスパーストレーニングのアルゴリズムを簡潔に実装することで、スパースニューラルネットワークの研究を加速させることを目的としています。JaxPrunerに実装されたアルゴリズムは、共通のAPIを使用し、人気のある最適化ライブラリOptaxとシームレスに動作し、既存のJAXベースのライブラリとの容易な統合を可能にします。この統合の容易さを、4つの異なるコードベースにおける例を示すことで実証しています： Scenic、t5x、Dopamine、FedJAXの4つの異なるコードベースで例を示し、一般的なベンチマークでのベースライン実験を提供します。