【論文要約:自動運転関連】Prompting Multi-Modal Tokens to Enhance End-to-End Autonomous Driving Imitation Learning with LLMs

自動運転に関連する論文の要約をしています。
論文へのリンク：https://arxiv.org/abs/2404.04869

1. タイトル

原題: Prompting Multi-Modal Tokens to Enhance End-to-End Autonomous Driving Imitation Learning with LLMs
和訳: マルチモーダルトークンを利用したLLMによるエンドツーエンド自動運転模倣学習の強化

2. 著者名

Yiqun Duan, Qiang Zhang, Renjing Xu

3. 公開年月日

2024年7月29日

4. キーワード

• Autonomous Driving (自動運転)

• Imitation Learning (模倣学習)

• Large Language Models (大規模言語モデル)

• Multi-Modal Tokens (マルチモーダルトークン)

• Reinforcement Learning (強化学習)

5. 要旨

本研究では、エンドツーエンドの自動運転システムにおいて、LLM（大規模言語モデル）を用いた新しいハイブリッド学習フレームワークを提案します。従来の研究が視覚モデルの出力を言語形式に変換するのに対し、本研究では、視覚およびLiDARセンサー入力を学習可能なマルチモーダルトークンに統合し、LLMが運転モデルのミスや複雑なシナリオを修正する役割を果たします。この方法により、従来の最先端モデルに匹敵する運転スコア49.21%とルート完了率91.34%を達成しました。

6. 研究の目的

自動運転の模倣学習において、視覚およびLiDARデータを統合し、LLMを活用して運転モデルのミスを修正する新しいハイブリッドフレームワークを提案すること。

7. 論文の結論

本研究で提案する方法は、視覚およびLiDARデータを学習可能なマルチモーダルトークンに統合し、LLMが運転モデルのミスを修正することで、従来の最先端モデルに匹敵する性能を示しました。

8. 論文の主要なポイント

• 視覚およびLiDARセンサー入力のエンドツーエンド統合

• LLMを使用して運転モデルのミスを修正

• CARLAシミュレーターでのオフライン評価で高い運転スコアとルート完了率を達成

9. 実験データ

CARLAシミュレーターを用いて収集したデータセットには、8つの公式マップで1000のルートが含まれており、平均ルート長は400m、合計228kのトレーニングペアがあります。

10. 実験方法

• 画像とLiDARデータの早期および後期融合を行う2段階のネットワークアーキテクチャを設計

• 自動運転タスクのためにLLMを用いたプロンプト構築

• 安全性を考慮した再クエリメカニズムを導入

• 強化学習によるチューニングを実施

11. 実験結果

• オフライン評価での運転スコア49.21%、ルート完了率91.34%

• LLMの運転修正により、最新のSOTA（最先端技術）モデルと同等の性能を示しました。

12. 研究の新規性

視覚およびLiDARデータのエンドツーエンド統合とLLMを用いた運転モデルのミス修正を組み合わせた新しいハイブリッドフレームワークの提案。

13. 結論から活かせる内容

LLMを活用することで、自動運転モデルの性能を向上させる可能性があり、特に複雑なシナリオや長期的な運転タスクにおいて効果を発揮することが示されました。

14. 今後期待できる展開

LLMを用いた自動運転システムのさらなる改善と、リアルタイム運転シナリオへの適用が期待されます。また、異なる環境や条件下での検証と最適化が必要です。