[AI 論文]オンラインメタ強化学習によってリアルタイム適応能力を与えられる話

興味を引く論文があったのでChatGPTに解説してもらいました。
数式盛りだくさんで難しいので、余力があれば今度1から易しく解説したものを作りたいものです…。

Neurosymbolic Meta-Reinforcement Lookahead Learning Achieves Safe Self-Driving in Non-Stationary Environments

Abstract

セクション1: 背景と課題

この部分は、機械学習を自動運転技術に統合することがいかに技術的な偉業であるかを説明しています。それに加えて、実世界の環境では、この技術が人命に関わる重要な役割を果たし、よって、研究者は安全性と効率に更なる注意を払う必要があると強調しています。

セクション2: 課題と解決策の提案

ここでは、自動運転モデルが現実の時間で未知の環境に遭遇した際に、その性能を向上させるだけでなく、安全性も保証する必要があると指摘しています。そして、その解決策としてオンラインメタ強化学習のアルゴリズムを導入し、新しい方法を提案しています。

セクション3: アルゴリズム（NUMERLA）

NUMERLAはオンラインの適応と長期的な安全性の目標を調和させる先読み更新メカニズムを提案しています。

セクション4: 実験結果

この部分では、NUMERLAが非定常な都市人間車両相互作用シナリオの下で安全かつ自己適応的な運転を実現する能力を自動運転エージェントに付与することを示す実験結果について説明しています。

I. 序論 (Introduction)

このセクションでは、自動運転技術（Self-Driving Technology）とその現状についての背景情報が説明されています。以下、主要な点を強調していきます。

パラグラフ1: 自動運転技術の進歩と限界

• 自動運転技術の驚異: この技術はかつてSFの領域でしかなかった精密なアクションの実行を可能にする、エンジニアリングの驚異と言えます。この技術により、車両はリアルタイムでセンサー入力を処理し、複雑な環境を解釈することができます。

• 最近の進歩: 参考文献[1]-[3]で示されるような最近の進歩は、学習駆動型の自動運転技術分野における調査と興味を大いに刺激しています。

パラグラフ2: 現実世界での課題と危険

• 成功事例: 現在の自動運転車は既知の都市景観を正確に操作でき、歩行者の行動を予測し、他の車両と完璧に相互作用できます。これはすべて交通規則を守りながら燃料効率を最適化して行われます。

• 未知の状況への適応性の限界: しかし、制御された実験の設定を超えると、AIの予測不能性が明らかになります。自動運転車が新しく未知の状況に遭遇すると、システムの性能が低下したり、予期しないシナリオで実際の道路でクラッシュを引き起こしたりする可能性があります。

• 歩行者への危険: 2018年に初めて、自動運転Uber車がアリゾナ州テンピで交差点を横断していた歩行者と衝突し、歩行者が死亡する事故が発生しました。

このセクションは自動運転技術の進歩とその限界について説明しています。特に新しいかつ未知の状況での自動運転車の性能の低下と安全性の問題が強調されています。また、実世界での自動運転車の事故も具体的に引用されており、これが今後の研究と技術の進歩における重要な焦点であることが示されています。

強化学習（Reinforcement Learning, RL）とその限界

• ストキャスティックポリシー: 強化学習においては、部分的に観測可能な環境（例: ロボティクスや自動運転）でストキャスティック（確率的）ポリシーが一般的に使用されます。エージェントはセンサーノイズや不完全な情報といった問題に直面します。

• オフライントレーニングの利点: ストキャスティックポリシーは、オフライントレーニング時に、不確実性と環境変動に対するロバスト性の向上、探索能力の強化、ポリシー探索アルゴリズム（進化戦略やモンテカルロ方法）との互換性など、さまざまな利点を提供します。

• 一般化能力の限界: しかし、限定された一般化能力が、トレーニング時と異なる非定常環境での広範な応用を妨げる可能性があります。この制約は、命に関わる実行中にストキャスティックポリシーをさらに不安定にします。

メタ強化学習（Meta-Reinforcement Learning, Meta-RL）と課題

• 適応能力の強化: メタ強化学習の目的は、さまざまな環境で満足できるパフォーマンスを提供できるメタポリシーを見つけ出すことです。

• オフライン方法論への依存: 以前の研究はこの目指し取り組んできましたが、多くはオフライン方法論に依存しています。これらのアプローチは、オフライン設定でトレーニング中に露出した環境内の多岐にわたるタスクに適応する能力を示しますが、リアルタイムの適応には時間制約とポリシー処理の安全保証という課題があります。

安全中心の学習への最近の取り組み

• 安全中心の学習の導入: 研究者のいくつかは、ポリシーのロバスト性を支援するために、安全中心の学習を組み込んでいます。

• 既存のアプローチとその制約: 例えば、一つの研究[14]では、異なる状態パーティションに適した独自の安全ポリシーを策定するために、シンボリズムを活用したアプローチが提案されています。しかし、これらのアプローチは環境の動的な性質を考慮していないため、初期の環境観察が不完全であるか、環境が変化する場合、安全メカニズムの効果が減少する可能性があります。

NUMERLA（ニューロシンボリック・メタ強化学習ルックアヘッド学習）

この論文で提案されている新しいアルゴリズムです。このアルゴリズムは、リアルタイムの適応学習（OMAL）を安全に行うために論理的な声明を安全制約として利用します。また、このアルゴリズムは、オンラインの実行中に安全制約を前向きに繰り返し改良することを目指しています。これにより、リアルタイムの適応の効率と長期的な安全の確保という2つの目標をバランス良く進めることができます。

論文の主要な貢献 : 

1, 記号的安全制約に特徴づけられる動的環境で適応戦略を獲得する課題の概念化。 この点は、自動運転車が安全な運転を行うための「記号的安全制約」と呼ばれる特定の制約やルールを認識し、これを基に適応戦略を獲得するプロセスの設計と実装に関わっています。

2, リアルタイムOMALアルゴリズムの導入。

このアルゴリズムは、NUMERLAの原理を基に構築され、リアルタイムで安全な運転を実現できるようにするものです。

3, 実験結果の提示。

実験結果は、NUMERLAが非定常な都市環境下での人間と車両の相互作用のシナリオにおいて、リアルタイムで適応可能な能力を自動運転車に提供し、これが安全で自律的な運転を実現することを示しています。

要するに、この論文は自動運転車が複雑かつ変動する環境で安全かつ効果的に運転できるようにする新しい方法を提案しています。そして、このアプローチが実際の運転環境で有効であることを実証しています。

補足 : 
### 強化学習（Reinforcement Learning, RL）

強化学習は、エージェント（この場合は自動運転車）が環境からのフィードバック（報酬やペナルティ）を受け取りながら学習し、そのフィードバックを利用して将来のアクションを最適化していくタイプの機械学習の一種です。しかし、実世界の環境は複雑かつ予測不可能な要素が多いため、訓練時にエージェントに経験させたシナリオと異なる状況が発生することがあります。これが問題となる場面もあります。

### メタ強化学習（Meta-Reinforcement Learning, Meta-RL）

メタ強化学習は、これにさらなる層を加え、エージェントが新しい状況に迅速に適応できるように訓練します。基本的には、「学習方法を学ぶ」技術です。しかし、これまでの研究では主にオフラインでのトレーニングに焦点が当てられており、リアルタイムでの適応には時間制約と安全保証という課題が存在します。

### 安全中心の学習と環境の動的性質

研究者たちは、環境の変動や予期せぬ事態に対する安全保証を強化する方法を探求しています。現時点で提案されている方法のいくつかは、特定の状態や観測に基づいて安全策を形成しますが、これが環境の動的な変化に対応できるかどうかはまだ疑問です。

### 論文の目的

この論文は、NUMERLA（Neurosymbolic Meta-Reinforcement Lookahead Learning）という新しいアプローチを提案しています。これはリアルタイムでの適応と長期的な安全保証をバランス良く行うことを目指しています。具体的には、車が変化する環境で運転する際に、現在の観測から未来の予測を行い、それに基づいて安全な制約を見つけ出し、必要に応じてこれを適応させる方法を取り入れています。

簡単に言えば、論文では、新しいアルゴリズムが自動運転車が新しいや予期せぬ状況に出くわしたときでも、安全にかつ効率的に対処できるようにする方法を提案しています。このアプローチは、事前の学習とリアルタイムの適応の組み合わせを利用しています。

II. NUMERLAの定義とモデル構造

このセクションは、NUMERLAモデルの定義と構造に関連する基本的な数学的コンセプトとフレームワークを紹介しています。ここで紹介される数学的表現を一つ一つ分解して説明します。

メタ強化学習（Meta-Reinforcement Learning）

基本的な概念と変数

• 強化学習（RL）: ステーショナリー環境（変化しない環境）内の問題を解決することに焦点を当てた分野。

• マルコフ決定過程（MDP）: RLが扱う基本的な環境の一種です。

以下の変数が定義されています：

1. $${(z_t)}$$（環境モードまたはエージェントから隠された潜在変数）

2. $${(s_t)}$$（時間$${(t)}$$での状態入力）

3. $${(a_t)}$$（時間$${(t)}$$での制御アクション）

4. $${(H)}$$（決定期間中に基本条件が安定していることを示す時間枠）

5. $${(π(s, a ; θ))}$$（ニューラルネットワークに基づくポリシー、$${(θ)}$$はニューラルネットワークのパラメータの次元を表す）

6. $${(r_t)}$$（報酬関数）

数式の詳細

数式は、期待累積報酬の最大化を目指す強化学習の目標を表しています。

$${\max \theta J_z(\theta):=\mathbb{E}{P\left(s_{t+1} \mid s_t, a_t ; z\right), \pi\left(s_t, a_t ; \theta\right)}\left[\sum_{t=1}^H \gamma^t r\left(s_t, a_t\right)\right]}$$

この数式を分解して説明します：

1. 目標: 累積報酬の期待値を最大化するポリシーのパラメータ$${(\theta)}$$を見つけること。

2. 累積報酬: $${( \sum_{t=1}^H \gamma^t r\left(s_t, a_t\right) )}$$ は時間枠 $${( H )}$$ での割引報酬の合計を示します。ここで、$${(\gamma)}$$ は割引因子で、$${( (0<\gamma \leq 1) )}$$ の範囲にあります。$${( r\left(s_t, a_t\right) )}$$ は時間 $${( t )}$$ での報酬を示します。

3. 遷移確率: $${( P\left(s_{t+1} \mid s_t, a_t ; z\right) )}$$ は、状態 $${( s_t )}$$ と行動 $${( a_t )}$$ が与えられたとき、次の状態 $${( s_{t+1} )}$$ になる確率を表します。この遷移は、特定の環境モード $${( z )}$$ に依存しています。

4. ポリシー: $${( \pi\left(s_t, a_t ; \theta\right) )}$$ は、ニューラルネットワークに基づくポリシーを表し、$${( \theta )}$$ はそのパラメータを示します。

オンラインメタ適応学習（Online Meta-Adaptation Learning）

伝統的なメタ-RLは、さまざまな環境で良好な報酬を得るために、メタポリシー $${( \theta )}$$ と適応マッピング $${( \Phi )}$$ を探索してアップデートします。しかし、この研究では、オフライン方法に頼るのではなく、リアルタイムでのメタ適応プロセスの学習を提案しています。これにより、エージェントは観測に基づいてその適応戦略を連続的に調整します。

次のパラグラフでは、オンラインメタ適応学習（OMAL）の問題を正式に定義します。

まず、$${\mathcal{I}_t=\left\{s_t, a_{t-1}, r_{t-1}\right\}}$$ は時刻 $${(t)}$$ におけるエージェントの観測を示しており、これを情報構造と呼んでいます。エージェントは、これまでのすべての観測を使用して、メタ適応マッピング$${((\Phi_t(\theta)))}$$を定義します。このマッピングは、エージェントが時刻 (t) までに収集した観測を利用して、元のメタポリシー$${((\theta))}$$を新しいポリシーに適応させます。

この新しい目標は次のような数式で表されます：

ここで、目標は、時刻 $${(1)}$$ から $${(H)}$$ までの期待報酬の合計を最大化する適応マッピング $${({\Phi_t})}$$ を見つけることです。条件は次の通りです：

1. $${(z_{t+1})}$$（次のモードや環境状態）は、現在のモード $${(z_t)}$$ からの確率的な遷移によって決定されます。これはマルコフ連鎖 $${(p_z(z_{t+1} \mid z_t))}$$ で表されます。

2. $${(\theta)}$$ は、異なる環境 $${(z)}$$ にわたる累積報酬の期待値 $${(J_z(\theta))}$$ を最大化するポリシーのパラメータを示します。

さらに、モード $${(z)}$$ はエージェントが存在する特定の環境を示し、これはマルコフ連鎖を使用して時間を通じて確率的に遷移します。初期分布は $${(\rho_z(z_1))}$$ で示されます。

最後に、このセクションは、実行可能な $${(\Phi_t)}$$ を特定する手段として、Conjectural Online Lookahead Adaptation（COLA）モデルの採用を提案しています。このモデルは以前のリファレンスで概説されており、図1でも示されています。

図1

図1:の説明

1. 変化する環境での運転: この部分は、エージェントが変わりゆく環境で運転する際のプロセスを説明しています。

2. 観察と信念の調整: エージェントは、環境からの観察を用いて、各時間ステップごとにモードに関する信念を調整します。

3. 未来のパフォーマンスの予想: エージェントは、その信念に基づいて、先読みホライゾン内での未来のパフォーマンスを予想します。

4. 安全制約の検索: この予想を利用して、エージェントは知識の中で適切な安全制約を見つけ出します。

5. 知識の更新: 同時に、必要に応じて、エージェントの知識は記号的安全制約適応を通じて自身を更新します。

6. ポリシーの適応: このポリシーは、安全制約を持つ予想的先読み最適化を通じて適応されます。これにより、長期的な安全保障を持つ（経験的に）副最適なオンライン制御が導かれます。

この説明は、NUMERLAのプロセスを段階的に説明しており、エージェントがどのようにして環境からの観察を利用して信念を調整し、未来のパフォーマンスを予測し、その予測を基に安全制約を見つけ、必要に応じて知識を更新し、安全制約を持つ予想的先読み最適化を通じてポリシーを適応させるのかを説明しています。

下記では、OMAL問題を解決する新しい方法としてNUMERLAが導入されています。NUMERLAは、ポリシーのオンラインパフォーマンスを最大化しながら、ポリシーの(K)ステップの安全性も保証することを目指しています。以下に、この数式とその成分について詳細に説明します。

目標関数は以下のように表されます：

1. 最初の数式行は、OMALセクションと同様ですが、ここではNUMERLAのフレームワークで動作します。目標は、時間 $${(t = 1)}$$ から $${(H)}$$までの期待報酬合計を最大化する適応マッピング $${({\Phi_t})}$$ を見つけることです。

2. 制約条件は、OMALセクションと似ていますが、いくつかの新しい条件が追加されています。これにより、各時刻 $${(t)}$$ におけるポリシー適応マッピング $${(\Phi_t(\theta))}$$ が、新しい関数 $${(f_t(z_t))}$$ に属している必要があります。

3. 最後の部分、すなわち $${(f_t(z_t))}$$ の定義は、特定の条件 $${(\chi_i(z_t))}$$ が満たされた場合に適用される適応ポリシー $${(\varphi_i)}$$ を示します。この一連の条件とポリシーは、システムが異なる状態を経るときのポリシーの安全性を保証するために、より複雑な状態条件を導入します。これは「SSC」または「Sequential Safety Criteria」を示します。

この全体的なフレームワークは、エージェントが時間をかけて環境を観察し、その観察を利用してポリシーを逐次的に適応させる、安全かつ効果的な方法を提供する目的で設計されています。

下記は、エージェントが特定の環境（モード）で最適かつ安全なポリシーを選択するための数学的枠組みを説明しています。以下は各セクションの説明です：

数式の部分

1. OMALとCOLA:
   OMALはオンライン最適化問題を表し、COLA（Conjectural Online Lookahead Adaptation）はその解法の一つとして提示されます。このフレームワークは、時刻 $${( t )}$$ におけるエージェントの観測 $${( \mathcal{I}_t )}$$ を利用し、メタポリシー $${( \theta )}$$ を新しいポリシーへと適応させます。

2. NUMERLA:
   NUMERLAはOMAL問題を更に進め、ポリシーの $${( K )}$$ ステップ安全性を保証します。それは特定の制約（SSC, symbolic safety constraints）を満たすように、特定の「モード」$${(( z_t ))}$$で安全なポリシーの適用を保証します。

数式の説明

1. 変数と関数:

   • $${( s_t )}$$ : 時刻 $${( t )}$$ での状態。

   • $${( a_t )}$$ : 時刻 $${( t )}$$ での行動。

   • $${( r_t )}$$ : 時刻 $${( t )}$$ での報酬。

   • $${( z_t )}$$ : 時刻 $${( t )}$$ でのモードまたは環境の状態。

   • $${( \theta )}$$ : メタポリシーまたは基本的な戦略/行動計画。

   • $${( \Phi_t(\theta) )}$$ : 時刻 $${( t )}$$ での適応マッピング関数、新しいポリシーを生成します。

2. 最適化問題:

   • 主目的は、期待報酬の合計を最大化することです。これは、次のように表現されます:

1. 制約:

   • $${( z_{t+1} \sim p_z\left(\cdot \mid z_t\right) ):}$$ マルコフ連鎖を使用して時刻 $${( t )}$$ から $${( t+1 )}$$ へのモード遷移をモデル化します。

   • $${( \theta=\arg \max \mathbb{E}_{z \sim \rho_z}\left[J_z(\theta)\right] ): (\theta)}$$ の最適な値を見つけるための最適化条件。

   • SSC（symbolic safety constraints）は、特定の条件 $${( \chi )}$$ に基づいて異なるモードでどのようなアクションが選択されるかを定義します。

2. モード空間とポリシー空間の関連:

   • $${( f_t: \mathcal{Z}_t \Rightarrow \Theta_t )}$$ は、モード空間からポリシー空間へのマッピングを定義します。

   • $${( \mathcal{X} )}$$ は一連のシンボリックロジック判断を集めたもので、モード空間を分割します。

   • $${( \Theta )}$$ は物理的行動空間であり、特定のモード $${( z_t )}$$ での最も安全な行動の選択肢を含むサブセットとして定義されます。

この枠組みは、エージェントが時系列データを通じてその環境を理解し、最適かつ安全なポリシーを選択できるように設計されています。また、フレームワークの概要は図1と図2で視覚的に示されます。

図2

このパラグラフは、NUMERLAフレームワークの一部としての図2を説明しており、それがどのようにしてシンボリックロジックに基づく安全制約とオンラインメタ適応学習技術を利用するかを示しています。以下にその詳細を説明します：

図2の説明

• NUMERLAフレームワーク: このフレームワークは、シンボリックロジックに基づく安全制約とオンラインメタ適応学習技術を利用して動作します。

• 変数と要素:

  • $${( s_t )}$$：時刻$${( t )}$$における状態。

  • $${( \pi_t )}$$：時刻$${( t )}$$におけるポリシーまたは行動計画。

  • $${( f_i )}$$：時刻$${( t )}$$におけるポリシー制約であり、SSC（symbolic safety constraints）関数によって生成されます。

• 適応プロセス:

  • ポリシー$${( \pi_t )}$$は、$${( f_i )}$$にエンコードされた知識に導かれながら、オンラインで動的な調整を開始します。

  • この適応プロセスは、現在の状態$${( s_t )}$$と歴史的な文脈の両方からの洞察に依存します。

• ポリシーの改訂と行動選択:

  • 改訂されたポリシー$${( s_{t+1} )}$$が行動の選択を支配し、それが状態$${( s_t )}$$から状態$${( s_{t+1} )}$$への遷移を導きます。

• 環境モード空間の変化:

  • 環境モード空間$${( \mathcal{Z}_t )}$$は、ステップ$${( 1, 4, 6 )}$$の間に限定的に変更されます。

  • このようなモードの変更が発生した場合、知識内容は$${( f_{i+1} )}$$に更新されます。

解釈

この段落は、時間に沿ってエージェントのポリシーがどのように動的に適応して進化するかを説明しています。エージェントは現在の状態と過去の情報を利用してポリシーを調整し、特定のステップ$${(1, 4, 6)}$$で環境のモードが変わるとポリシー制約も更新されます。このような方法で、エージェントは安全で最適な行動を継続的に選択できるようになります。

この部分では、最適化の方法論の一部である"Conjectural Online Lookahead Adaptation"に関する詳細が紹介されています。以下で主要な要素と数式を説明します：

III. 最適化の方法論

A. 予測オンライン先読み適応（Conjectural Online Lookahead Adaptation）

• モデルの参照: このセクションは参照[18]にあるモデルに従っています。

• エージェントの信念 $${(b_t)}$$: $${(b_t)}$$ はエージェントの信念を表します。これは通常、環境内の未来のモードに関する事前定義された予測や推測です。

• ポリシー $${(\theta)}$$: $${(\theta)}$$ はOMAL方程式で定義された既得のポリシーを引き続き表します。

• Kステップ未来: $${(K)}$$ ステップ未来はトラジェクトリ (\tau_t^K) によって表され、次のように定義されます:

この式は、トラジェクトリの確率分布を示しており、それはエージェントのポリシーと信念に基づいて計算されます。また、それは未来のKステップにわたる状態と行動の系列（トラジェクトリ）に関連する情報を取り入れています。この方法論は、エージェントが未知の環境での適応と最適化を行う際に重要な役割を果たします。

下記では、未知の環境遷移$${( P )}$$を持つモデルについて説明しており、エージェントは未来の性能を最大化する目指します。以下で説明しています:

環境遷移 $${( P )}$$: 環境の遷移は未知のものとされています。これは、エージェントが状態間の遷移確率を事前に知ることができないという事実を反映しています。

目標: このモデルの目標は、将来の予測性能を最大化することです。これは以下の数式で表されます:

ここで:

$${( \theta' )}$$: 新たに考慮されるポリシーを示します。
$${( \mathbb{E} )}$$: 期待値を示します。
$${( q(\tau_t^K ; b, \theta') )}$$: トラジェクトリの確率分布を示します。
$${( r(s_{t+k}, a_{t+k}) )}$$: 時刻 $${( t+k )}$$ での報酬関数を示します。

オンライン適応の制約: しかし、エージェントはオンライン適応の間に分布 $${( q(\tau_t^K ; b, \theta') )}$$ にアクセスできないため、ポリシーグラディエント方法を使用して最適化問題を解決することはできません。これは、オンライン適応フェーズでは、未知の遷移確率により、トラジェクトリの確率分布を直接計算することができないという制約を示しています。

このセクションでは、未知の環境遷移とオンライン適応の困難さを中心に、エージェントの予測未来の性能最適化の課題を強調しています。

下記では、オリジナルの問題（1）を推測的なルックアヘッド最適化（Conjectural Lookahead Optimization, CLO）問題に再定式化して、重要度サンプリングを使用して最適化を行う方法について説明します。以下の点に注意してください：

最適化の改定: 元の問題（1）をCLO問題として再定式化することにより、最適化を行います。この再定式化には、重要サンプリング法を使用します。

数式の説明: 数式は以下のように示されます:

この数式は、新しいポリシー $${\theta'}$$ が与えられた時の期待報酬の最大化を目指します。
これは、現在のポリシー $${\theta}$$ と新しいポリシー $${\theta'}$$ の間でのアクションの確率比を利用することによって実現されます。
この最適化は、Kullback-Leibler（KL）ダイバージェンスの制約条件の下で行われます。この制約条件は、新旧のポリシー間のKLダイバージェンスが $${\delta}$$ より小さくなるよう保証します。

Kullback-Leibler (KL) ダイバージェンス: KLダイバージェンス $${(D_{KL})}$$ は、二つの確率分布間の相違度を測るために用いられます。

記法の誤用: ここでは、$${q(\cdot)}$$ という記法が、割引された状態訪問頻度 $${s \sim q}$$ を表すために若干誤用されています。

このセクションは、最適化問題を再定式化し、KLダイバージェンスを用いて新しいポリシーが古いポリシーからある程度の範囲内で変動することを保証する方法を説明しています。また、この再定式化は重要サンプリングを用いて行われます。

1. Kullback-Leibler (KL) 逸脱：制約式では、KL 逸脱 $${( D_{KL} )}$$ を使用して、新旧のポリシー間の逸脱を測定しています。この逸脱は、状態訪問頻度の符号 $${( q(\cdot) )}$$ が割引されることを示しています。

2. 数式 (CLO) の同値性：数式 (CLO) は数式 (1) と等価です。これは、分布 $${( q\left(\tau_t^K ; b, \theta^{\prime}\right) )}$$ と $${( q\left(\tau_t^K ; b, \theta\right) )}$$ の違いが、比率 $${(\prod_{k=0}^{K-1} \frac{\pi\left(a_{t+k} \mid s_{t+k} ; \theta^{\prime}\right)}{\pi\left(a_{t+k} \mid s_{t+k} ; \theta\right)})}$$ によって補償されるためです。

3. KL 逸脱とデータの収集： $${(\theta^{\prime})}$$がKL逸脱の観点から基本ポリシー $${(\theta)}$$ に近い場合、訓練中に収集したデータを使用して結果の近似を完成させることができます。このCOLA設定では、データは異なる環境モードでの目的関数の勾配サンプリングです。

4. オンライン更新プロセス：COLAのオンライン更新プロセスはアルゴリズム1で示されます。

アルゴリズム1

このセクションは、重要度サンプリングを使用した推測ルックアヘッド最適化問題の解決法を提供しており、KL逸脱を基にした制約を用いてポリシーの更新を効果的に行う方法に焦点を当てています。また、基本ポリシーからの逸脱が小さい場合には、訓練中に収集したデータを使用して結果を近似できることも強調しています。

下記は、安全性評価とシンボリック安全制約適応（SSCA）およびそのパーティション（SSCAP）の最適化問題に関する数学的な構造を導入します。以下の要点に注意してください：

シンボリック安全制約適応 (SSCA)

1. 安全性評価関数: この関数は、状態行動対$${(s-a対)}$$$${(\left(s_t, a_t\right))}$$が安全$${(出力0)}$$か危険$${(出力1)}$$かを判断します。

2. 目的関数: SSCAの目的関数は、以下の式で定義されます：
   $${\min f \sum{z \in \mathcal{Z}} \sum_{\theta^{\prime} \in f_t\left(b_t(z)\right)} \mathbb{E}{q\left(\tau_t^K ; b, \theta^{\prime}\right)}\left[\sum{k=0}^{K-1} \operatorname{Safe}\left(s_{t+k}, a_{t+k}\right)\right]}$$

シンボリック安全制約適応のパーティション（SSCAP）

モードのパーティション: ここでは、異なるモードのパーティション $${(g_i)}$$ に基づいた最適化問題に分けることが可能です。それぞれのパーティションに対するトラジェクトリの分布は以下の式で表されます：

SSCAPの目的関数: パーティションごとのSSC最適化は、以下の式で示されます：

基礎となるSSC関数

1. 基礎SSC関数 $${(f_0)}$$: これは、人間の洞察に基づいて概念的枠組み内で形成されます。$${(f_0)}$$ は、モードの範囲 $${(\mathcal{Z})}$$ を完全に網羅します。

2. 知識拡張: 新しいモード空間 $${(\mathcal{Z}^{\prime} \supset \mathcal{Z}) }$$が登場し、より強力なSSC関数が求められる場合、知識拡張が必要です。これは、SSC関数を効果的に適応させるための我々の理解の向上に関連しています。

3. オンラインアップデート: SCCのオンラインアップデートは、アルゴリズム2に記載されている規則に従うことができます。

アルゴリズム2

このセクションは、安全性評価とシンボリック安全制約適応のための数学的枠組みを提示し、それがどのように最適化問題に取り組むかを説明しています。また、新しいモード空間が登場した場合の知識拡張の重要性も強調しています。

下記では、SSC（シンボリック安全制約）関数のオンライン更新プロセスが示されています。主要なポイントと例を以下に示します：

オンライン更新プロセス

1. SSC関数の更新: 図3とアルゴリズム2の結果を組み合わせることによって、洗練されたSSC関数$${(f_1)}$$が得られます。この強化は一回限りかつ瞬時のものではなく、エージェントは変化する環境$${(\mathcal{Z}^{\prime})}$$からデータを収集する必要があります。これには、環境から複数のサンプリングを行って望ましい洗練を達成することが求められます。

例示的な例

1. 運転環境の変化によるSCCの更新: この段落では、アメリカ合衆国内の異なる地域での運転慣行の違いに動機づけられた関連例が提示されます。例えば、ニューヨーク市の運転条件に慣れているドライバーがテキサスに移動する場合を考えます。この移動により、ドライバーは異なる環境的文脈にさらされます。都市交通の設定では、ドライバーの既存の知識が依然として効果的であるかもしれません。しかし、テキサスでの運転は、道路上で鹿や熊などの野生生物に遭遇するなどの新しいシナリオを導入します。

2. 新しいモードの獲得とSCCの拡張: ここでは、ドライバーは個人的な経験を通じて適応するだけでなく、地元の住民からの洞察やオンラインでの新しいモードの獲得も求められます。これらの新しいモードをドライバーの認知フレームワーク、すなわちSCCの拡張に取り入れることは、既存の安全パーティションにマイナーな調整を加えるか、これらの新しいモードに専念する新しいパーティションを作成することによって達成できます。これらの概念は図3で示されています。

セクションIVにおける焦点

1. SCC関数の不変性: セクションIVでは、SCC関数が通過中に不変であるシナリオに焦点を当てます。

この部分は、SSC関数のオンライン更新プロセスと、新しい環境モードを認知フレームワークに組み込む方法に関する例示的な議論を提供します。また、このプロセスが一度きりのものではなく、環境からの多くのサンプリングと適応が必要であることを強調しています。

図3

図 3: SSC関数の進化

SSC関数の進化は、新しい情報の吸収を通じて行われます。初期のSSC関数を$${(f_0)}$$として、時間ステップ1からkまで、$${(f_0)}$$がすべてを支配できると仮定します。

時間ステップ t=1:

• SSCは制約として$${(\varphi_n)}$$を使用します。なぜなら、$${(z_1)}$$が$${(g_n)}$$に属しているからです。

• 先読み手続きは、次の時間ステップがモード$${(z_2)}$$に属していると予測します。これは$${(g_1)}$$内にあります。したがって、SSCは次の制約として$${(\varphi_1)}$$を使用する準備をします。

時間ステップ t=k:

• 新しいモードが識別されると、SSCの知識更新が発生します。これは、全ての既存のモード$${(g_i)}$$の集合$${({g_1, \ldots, g_n})}$$内で、$${(z_{k+1})}$$がどの$${(g_i)}$$にも属していない場合に起こります。つまり、$${(z_{k+1} \notin \operatorname{dom}(f_0))}$$です。

• この更新は、2つの異なる方法で実行できます:

  1. 新しいモードを既存の前のモード（式(SSCAP)を$${(g_i)}$$とともに解く）と統合する。

  2. 新しいモード専用の新しいパーティションを確立する（式(SSCAP)を$${(g_{n+1})}$$とともに解く）。

この段落は、新しい情報を吸収し、未知のモードが識別された際にSSC関数がどのように進化するかを説明しています。また、新しいモードが識別された際の2つの異なるアプローチについても説明しています。

このセクションでは、実験の設定に関して説明されています。以下に主要な要点をまとめました：

IV. 実験設定

使用プラットフォーム:

• 実験評価には、都市型自動運転シナリオのための確立されたプラットフォームであるCARLA0.9.4を利用します。

• 学習アルゴリズムと環境間の通信を確立するために、MACADジムフレームワークをCARLAの上に統合してAPIを調整します。

シナリオ:

• 市街地の交通環境における車両と人間の交互作用を調査します。二つのエージェントがあります: 初速を持つ車両と歩行者（図4で示されます）。

• 車両を$${(c)}$$とし、歩行者を$${(p)}$$と表記します。

• 我々のアプローチの効果を評価するために、二つの異なるシナリオで実験を行います: 一つはWell-Behavedな歩行、もう一つは無許可横断です。

• 各シナリオは、車両と歩行者の起点間の初期距離によって決定される3つのタスクで構成されます。具体的な詳細は後述します。

状態と入力:

• 状態入力は車両のセンサーから来ると仮定します。

• 状態表現は、各エージェントの現在と前の速度$${((v_{c, t}, v_{p, t}))}$$およびそれぞれの終点までの距離$${((d_{c, t}, d_{p, t}))}$$で構成され、これらは$${(\mathbb{R})}$$に属します。

• アクションは$${(a_{c, t} \in \mathcal{A}c \subseteq \mathbb{R}^n)}$$と$${(a{p, t} \in \mathcal{A}_p \subseteq \mathbb{R}^n)}$$に含まれます。

• また、追加の状態コンポーネントとして模擬信号灯入力$${(l_t)}$$を導入します。

• 歩行者や信号灯からの入力は、車両がそれらから15メートル以内に近づくまで-1に初期化されることに注意が必要です。

• 完全な状態$${(s_t)}$$の構造は10の異なる変数を含みます。

• SSC関数$${(f_t)}$$を実行する際には、計算効率を確保するため、現在の状態情報のみ$${((\hat{s}_t))}$$に焦点を当てます。

このセクションは実験の設定に関する詳細を提供しており、使用されるプラットフォーム、検討されるシナリオ、および状態と入力の表現に関する情報を説明しています。

図4

図 4 の説明：

• この図は、信号灯の位置が不確かなシナリオを示しています。

• 都市の歩道路上に、車の前方に信号灯がある歩行者を作成します。

• この歩行者の位置は不確かです。

• センサーは車両と歩行者の速度 $${(v_{c, t})}$$ と $${(v_{p, t})}$$、それぞれの目的地までの距離 $${(d_{c, t})}$$ と$${ (d_{p, t})}$$ および信号灯の状態 $${(l_t)}$$ を観察します。

• 車両は歩行者と衝突せずに短期間で目的地に到達する必要があります。

この図は、特定の都市シナリオを示していて、信号灯の状態や歩行者の位置などの様々な要因が車両の動作と安全に影響を与える方法を描写しています。また、車両が目的地に到達する際の期間や衝突のリスクも強調しています。

下記は、実験設定で利用可能な行動を定義しています。以下にその主要なポイントをまとめました：

表1

表 I： 利用可能な行動の定義

1. 歩行者：

   • 行動値は、メインロード方向への加速（正の場合）または逆方向への加速（負の場合）に対応します。

2. 車両エージェント：

   • 行動値は、スロットル強度（正の場合）またはブレーキ強度（負の場合）を表します。

この部分は、歩行者と車両エージェントが取ることができる異なる行動のセットを指定し、それぞれの行動がどのような動作を表しているかを説明しています。このような行動の定義は、エージェントがどのような動作を学習および採用できるかを理解するために重要です。

下記では、実験の設定と評価方法に関する詳細を提供しています。以下のポイントが含まれています：

1. 車両の報酬関数：

   • 現在の速度

   • 目的地への近接性

   • 衝突の発生

2. シナリオ設定：

   • 『WellBehaved walking』と『jaywalking』シナリオがあります。

   • 車両と歩行者との間に異なる初期ギャップ（15メートル、25メートル、35メートル）があり、それぞれのタイプによって分類されます。

3. 評価方法：

   • RL方法、COLA方法、およびNUMERLA方法のそれぞれのタスクのパフォーマンスを評価します。

   • 各実験の反復ごとに平均報酬、標準偏差、および衝突率という主要な指標を取得します。

4. 目的：

   • 提案されたNUMERLAモデルが多様な交通シナリオを効果的かつ安全に管理できるかどうかを評価し、その適応性と安全性を測定します。

この段落は、NUMERLAモデルの実験設定と評価方法を詳細に説明しており、実験がどのように構築され、どのように評価されるかを理解するために重要です。

下記は、Well-Behaved WalkingシナリオにおけるNUMERLA方法と他の2つの方法（RLとCOLA）との比較に関する実験結果を説明しています。このシナリオにおける主な要点は以下の通りです：

シナリオの説明：

Well-Behaved Walking

• このシナリオでは、歩行者の行動は信号灯によって指示されます。

• 信号灯が赤いとき、歩行者は動きを開始しない。

• 信号灯が黄色に変わると、歩行者が歩き始める確率は0.1です。

• 信号灯が緑色に変わると、歩行者は速やかに歩き始めます。

実験結果：

図5

この部分では図5を通じて、Well-Behaved walkingシナリオの3つの方法（RL, COLA, NUMERLA）に関するパフォーマンスの比較を説明しています。以下の要点を強調しています：

実験結果と解析：

• RL, COLA, NUMERLAの3つの方法におけるWell-Behaved walking歩行者に関するパフォーマンスの比較を示しています。

• ここでの「値」は平均報酬を表し、「エラーバー」は標準偏差（std）を表します。

• このデータは1,000エピソードのオンライン実行から収集されました。

メソッドごとのパフォーマンス：

1. RL方法： 3つの方法の中で最も劣っています。

2. COLA方法： RL方法よりも若干良い結果を得ることができますが、標準偏差が高いためパフォーマンスが不安定です。

3. NUMERLA方法： これにより、高い平均報酬と小さな標準偏差を達成できます。

タスク分析：

• 15メートルのタスクは各方法で最も劣っている。これは、15メートルがこの都市環境で最も困難なタスクであるためです。初速があるにもかかわらず、歩行者の位置があまりにも近いためです。

この部分では、NUMERLA方法が他の方法よりも優れた安定したパフォーマンスを提供できることを強調しています。また、15メートルのタスクが都市環境で最も困難なタスクであるという点も説明しています。

表II

表2

• 衝突率を収集します。これは、衝突があったエピソードの割合とテストエピソードの数を示します。

• NUMERLA方法に関しては、衝突率がほぼゼロであり、他の2つの方法よりもはるかに安全であることがわかります。

この部分は、Well-Behaved WalkingシナリオにおけるNUMERLA方法の効率と安全性のパフォーマンスを強調しており、他の方法よりも安全であると結論付けています。

下記では、"Jaywalking" シナリオに関して実験結果とその分析を提供しています。以下の要点が強調されています：

シナリオの説明:

B. Jaywalking

• このシナリオでは、歩行者の行動は予測不可能です。

• 歩行者は信号灯の色に関係なく、ランダムな時間に歩行を開始します。

実験結果と解析：

図 6

図6

• RL、COLA、およびNUMERLA方法のパフォーマンス比較が示されています。データはオンライン実行の1,000エピソードから収集されています。

• 歩行者の行動がこの状況下で予測不可能であるため、すべての標準偏差（std）がWell-Behaved Walkingの実験よりも大きくなります。

• しかし、強化学習（RL）技術のパフォーマンスは、従順な歩行シナリオと比較して15メートルのタスクで優れています。これは、歩行者が通りを横断するかどうかを自由に決定でき、必要に応じて大幅に遅れた横断を選択することが可能であることが原因です。

• それにもかかわらず、NUMERLA方法はこのシナリオでも高い平均報酬と小さなstdパフォーマンスを維持できます。

この部分は、特にジェイウォーキングシナリオにおける各方法のパフォーマンスとそのばらつきを詳細に解析しています。また、NUMERLA方法が不確実な状況下でも高い平均報酬と小さな標準偏差を維持できることを強調しています。

表 III

• この表は、NUMERLA方法での衝突率が依然としてゼロ近くであることを示しており、私たちの方法の優れたパフォーマンスを示しています。

このセクションは、予測不可能な歩行者の行動にもかかわらず、NUMERLA方法が効率的かつ長期的な安全性を提供することを強調しています。さらに、表IIIでは、NUMERLA方法が他の方法よりも低い衝突率を示していることがハイライトされています。

V. 結論

• この研究は、Neurosymbolic MetaReinforcement Lookahead Learning（NUMERLA）の原理に基づいて新しいオンラインメタ学習アプローチを導入しました。

• この技術は、安全制約を継続的に改善することでリアルタイム学習の安全性を保証します。

• NUMERLAは、オフポリシーデータと未来の予測を利用して、予測的先読み最適化（CLO）と記号的安全制約適応（SSCA）を即座に解決することにより、長期的な安全なオンライン適応を可能にします。

この結論部分は、本研究の主要な貢献とNUMERLA技術の効果を強調しています。特に、この方法が安全性制約を継続的に洗練させることでリアルタイム学習の安全性を保証し、長期的な安全なオンライン適応を可能にすることを強調しています。また、これはオフポリシーデータと未来の予測を使用して実行されると付け加えています。