ブライアン・スカームズ「シグナル」読書メモ １４ ネットワークのために学習するということ
原始社会におけるリング
クラ・リングについて。
交易を通じて、ネックレスは時計の針の方向へ、腕飾りはその反対方向へ環状に移動します。リングという単語はダブルミーニングのようです。
コンピュータのLANリング
昔はコンピュータのネットワークはリング状だったそうです。考えてみれば、このようなリング状のネットワークはノードやエッジが1個ダメになると全体が機能しなくなります。前節のクラ・リングなんかもノードやエッジが欠けた場合のメンテナンスがどのように行われるのかとても興味深いところです。
Bala-Goyalリングゲーム
Venkatesh BalaとSanjeev Goyalによる情報リンクゲームです。各個人は独自の情報を持っていてつながった人とその情報を売買できるというルールです。
このリング状のネットワークは、どのプレイヤーも独自につなぎ方を変えるメリットはないナッシュ均衡になっています。しかし、自然はこのようなトポロジーに到達することができるのでしょうか？実験によれば、個体はリングを形成することを自発的に学習するそうです。
ネットワーク形成の動的モデル
強化学習でネットワークを形成させる試みです。
各個人は、可能な選択肢ごとにある色のボールが1つ入った壷からスタートする。毎日、各個人は自分の壷からボールを選び、指示された個人を訪問し、交流を持つ。訪問は常に受け入れられる。訪問者と被訪問者は、受け取った報酬に比例した数の相手の色の玉を取り、それぞれの壺に加える。
結果としてリングは生成されずに、個人が様々な接点と確率的なリンクを維持するらしいです。
クラ・リングが自然に発生したのはノード間の距離の概念が存在し、距離に対して単調増加するコストが存在するからではないでしょうか。
単純な帰納的学習
各個人は他人の行動を観察し、過去の彼らの行動の平均をとって予測確率を作り、その行動に対して最適な対応を選択する。
意味不明です。ここではネットワークが作られる様子をシミュレートしようとしているはずです。おそらく観察対象のプレイヤーとのつながりをネットワークしようということなのでしょう。ネットワークを構築するためには、誰とつながるか、あるいはそのつながりの度合い（「この人のやることを真似してみたい」と思わせる信頼度と言ってもいいかもしれません）が更新されるタイミングがあるはずですが、それがどのように更新されるのか、その仕組みがこれを読んだだけでではわかりませんでした。
現在、個人はしばしばリングを学ぶが、常にそうであるとは限らない。最適でない状態に陥る可能性はまだある（可能性は高くない）。
しかし、このプロセスにわずかな修正を加えると、一様な成功に至る。もしプレイヤーが近似的な結びつきを結びつきとして扱うなら、例えば期待ペイオフを小数点以下2桁までしか計算しないなら、彼らは常にリングネットワークを学習することになる
「へえ」としか言いようがないです。
惰性を伴う最適な応答
普段は前回と同じことを繰り返し（惰性）、たまに
他の人が前回行ったことに対する最適な応答を選択することがある
ということらしいのですが、意味不明です。
ここを読んだだけではよくわかりませんでした。
低情報量・低合理性
参加者が全体の構造に関する知識を持っていない状況で、クラのような制度がなぜ生まれるのかという問いかけです。
探索して調整する
普段は前と同じことをして、たまに探索（probe）するということだと思われます。
もしそれが良ければ、彼女は探索戦略を続ける
意味不明です。せっかく探索していいペイオフが得られたというのに、その結果を無視して、また探索に出かけてしまっては意味がないのではないでしょうか？探索戦略（probe strategy）とは「探索するという戦略」ではなく、「探索して得られた戦略」のことでしょうか？そうでないと辻褄があわないように思われます。
あとはよくわかりませんでした。元論文を読む必要がありそうです。保留します。
リングの破綻
社会がより複雑になるにつれ、リングは他のトポロジーになるんだそうです。やはりBala-Goyalモデルが出発点となり、その条件を緩和することから始めます。
前提条件の緩和
これらの要因について少し考えてみるために、バラ・ゴヤルゲームのようにリングがあり、情報が2方向に減衰することなく流れているとする。このとき、リングのどのメンバーも自分の接続をやめても、接続コストを節約しながら、すべての情報を得ることができる。その結果、トポロジーは線になる。
やはり前提条件が省略されており、かなり読み取りづらいです。
・接続コストは接続しに行った人が負担する
という前提が隠されているように思われます。前後の文脈からするとそう考えざるを得ません。
リング状のトロポジーの一つのエッジが切れて線分になっても、双方向に情報が伝わっていれば、すべてのノードが持っている情報が共有されるということでしょうか？
この図の矢印は、情報の流れではなく、接続元から接続先への向きを表しているようです。ややこしいですね。
これは均衡です。これ以上切ると情報が流れなくなります。また、これ以上つないでもコストが増えるだけです。しかし、接続のつなぎ替えはコストが変わらないということだそうです。
これが、センター主催のスター型のトポロジーです。センターがコストを払って他の全員に接続しにいきます。
BalaとGoyalは、減衰のない双方向の情報の流れの場合、中央のスポンサー付きスターが唯一の厳密なナッシュ均衡であることを証明しました。しかし、実験（どういうのものか分かりませんが）ではスターは生成されなかったとのことです。センターは誰もやりたがらないと。
周辺のひとたちがセンターに接続するパターンです。この場合、参加者は情報の減衰があったとしても、わざわざセンター以外の人に直接に接続して一次情報を当たろうとはしません。情報の減衰よりも接続のコストのほうが大きいからです。ここには明記されていませんが、これはマスコミュニケーションが発達した現代社会を思わせます。
HojmanとSzeidlはネットワーク形成ゲームの唯一のナッシュ均衡が周辺がスポンサーとなる星形であることを証明したそうです。
まとめ
追記
シグナル伝達の出現に謎はない。（中略）
シグナルの意味には何も不思議なことはない。（中略）
情報はシグナル伝達のネットワークを通じて流れる。（中略）最も単純な自然のシグナル伝達ネットワークでさえ、その仕組みの詳細は驚くほど複雑である。
以上でこの本のメモは終了です。これから、誤字の修正や関連論文の読み込みなどを長い時間をかけて行っていきたいと思います。