[コメント1] "Davidson(2024)The economic institutions of artificial intelligence 要約"
イントロダクションの最初に指摘されている通り、"Artificial Intelligence" (AI) という言葉の定義は非常に曖昧なものである。この論文を読み解く上で、「どのようなAIを想定するか」（計算能力や仕組み、その限界や可能性などについて）を確認していくことが重要になると思われる。
Davidson(2024)The economic institutions of artificial intelligence 要約｜5O に対するコメント
イントロダクション（Introduction）
AIの核となるのは、インプットされたデータを「学習」し「適応する」機械学習アルゴリズムである
これはいいまとめだと思った。
一方で、
・AIがアルゴリズムとして論理的につくられていること
・AIが下す"選択"(や"決定")が論理的であること
は、別の問題だが、この2つが混ざってるのかなと思いました。
特に、2つ目、「AIが（アルゴリズムに従って）下した"決定"が、人間から見ても合理的かどうか」、という問題。 AI（ここでは、最強のAIではなく、昨今の主流のニューラルネットワークとかのアルゴリズムを想定するが）は、インプットされた（限定的な）データから、決定のための手がかりを自動で特定し、その範囲で最適な決定を下すように「学習」する。決定のための手がかりとして、人間と同じ手がかりを利用していることがわかれば、AIの下す"決定"は合理的と思えるかもしれないが、必ずしも明らかではない（学習データに含まれるバイアスを学習する場合もある）。そして、未知の状況には適用できないかもしれない。でもこれってある種の「限定合理性」みたいなもんなのでは？と思うんですよね…
--
AIが一部のタスクについて人間に取って代わるためには、人間のように思考する必要があるが、AIの開発者たちにとって、人間の思考様式を完全に理解することは大きな挑戦となるだろう
突然やや混乱した。現代の開発者の多くは、人間の思考様式を完全に理解することを目的とも手段ともしていない。AIの開発・運用においては、AIの判断や行動が人間の倫理観や価値観に合致するように設計や制御をする「アライメント」が重要視されている。
これは、Mitchell (2019) の引用部分の後半と大体同じように
On the practical side, AI proponents simply want to create computer programs that perform tasks as well as or better than humans, without worrying about whether these programs are actually thinking in the way humans think.
（実用面では、AI推進派は、人間と同等かそれ以上のタスクをこなすコンピュータ・プログラムを作りたいと考えているだけで、そのプログラムが実際に人間の思考方法で考えているかどうかは気にしていない。）
私も開発者の一人としてそのように考えている。
それに対して、この論文では、このような実用的なアプローチが進む中で、AIが「人間のように思考する」必要性を指摘しているという点で特徴的だと思う。
--
やや脱線するが、AGIの例として挙げられている「2001年宇宙の旅」HAL9000 について、SFファンとしてオタク語りする。HAL9000 は完全無欠で間違いは一度も犯したことがないと自信満々に言う。これは現代のAI観とは完全に異なる。制作当時、1960年代のルールベースのAIの（そして、コンピュータはプログラムに従って確定的に動作するものであるという一般的な）イメージに基づいている。その後、2000年代後半から深層学習が一般的になりはじめ、確率的・統計的に動作し、必ずしも正確ではない判断をするAI観が現実的になってきた。
ルールベースのAI：決定論的な (deterministic) AI
限定合理性：複数の概念（Bounded rationality: concepts）
理論的には、AIはデータに基づいた客観的な分析や意思決定を提供することで、人間のバイアスを克服するためにうまく機能するはず
←しかし実際には、AIはこの分野で必ずしも成功していない
この前提は理想的すぎる。まず、AIの「客観性」は学習データの範囲で、限定的な状況においてのみ成り立つものである。AIがより汎用的になるほど、学習データや適用される状況に人間的な（社会的・文化的な）要素が多く含まれるようになり、開発者や運用者がそのような要素すべてを把握できなくなるため、客観性を保つことが困難になってくる。
AIが人間のバイアスを克服しないことは、AIもまた独自に満足のいく解 (satisfactory solution) を見つけるという方法で機能するものとして理解できるのではないか。
--
AIは論理学的・構成主義的な合理性を洗練させることはできても、現実世界の経験によって生態学的合理性を獲得することはできない
「AIが論理学的・構成主義的な合理性を洗練させることはできる」というのは、事前に定義された規則に基づいて決定を下すタイプのAI（ルールベースのAI）を想定すれば、正しいように思われる。しかし、現代において主流の、機械学習に基づくAI（データ駆動型の、非決定論的 (non-deterministic) AI）を想定すると、AIが従う規則は学習データから獲得したものになる。学習データが現実世界の事象を記録したものであることを考えれば、そこからパターンを見出すのはどちらかというと「現実世界の経験」に類似する。
ここで、どのような種類のAIを想定するのかを明確にする必要がある。
--
また、ここで、AIは生態学的合理性を獲得するかという議論がなされているが、AIが社会に実装され、人間の相互作用を仲介するものとしての側面を考えると、AIが「自発的秩序を構成する要素」としてどのようにはたらくのか、という見方もできるように思える。ミクロすぎて話が脱線するかも。
暗黙知問題：ミーゼスとハイエク（The knowledge problem: Mises and Hayek）
「最強のAIがいれば国内の全ての経済データと個人の選好をまとめて計算できるように理論上はなるんだ！」はわりと理解できるかも、つまり全ての個人に聞き取り調査を行えるはずじゃん、みたいな話に、「データ化されたものにしかアクセスできないくせに」と反論するのはかなり筋がいい気がする。
「計画経済問題（economic problem）」を解くことが（新古典派経済学が言うような）連立方程式を解くだけの単純な論理パズルなのだとしたら、AIの誕生は巨大なアドバンテージといえる
→利害中立的で完全合理的なAI経済主体による「テクノ社会主義」がうまくいくかもしれない
・ しかし、ミーゼスとハイエクは計画経済問題の解決は単なる論理の問題ではないと主張した
・ また、ギーゲレンツァーが示したように、限定合理性（bounded rationality）は非合理性（irtationality）とは異なり、テクノロジーによって解決されうる単なる合理性の制約ではない
ここは逆説的に面白い話だなという気がする。現代の機械学習に基づくAIは、連立方程式を解くような単純な論理パズルを得意とするわけではない。むしろ、解法を論理的に記述するのが難しい種類の問題を、具体的なデータから解法を見つけ出して解くことを得意とすることが特徴だ。
だとすると、計画経済問題が単なる論理の問題ではないとしたら、つよつよ機械学習AIには、「「「データさえあれば解ける」」」問題ってこと？？？
んなわけねえよ、という結論になるだろうが、このセクションで情報と知識が取り上げられる理由は、たぶんその辺り、つまり、「データさえあれば」がそう単純ではないということなのだと思う。
--
AIは、機械にプログラムされた、あるいは機械が読み取ることのできるデータしか「知らない」
これがどれくらい本質的かには疑問が残る。
現実世界にデジタル化されていない情報が大量にあるのは事実だし、AIが「機械が読み取れる形式のデータしか扱えない」というのもその通りである。しかし、デジタル化される範囲・機械が処理できる範囲は、年々拡大し続けている。
ここまで機械学習に基づくAIのうち、与えられたデータセットからパターンを学習するものを想定してきたが、それももはや古い見方かもしれない。AIが自律的に未知領域のデータを取得することが、将来的にも不可能とは言えないのでは、と思う。強化学習に基づくAIは、ある意味「目的志向的に」動作する：
学習の基本的なサイクル
AIは行動方針（方策、policy）に基づいて行動を選択する
その結果として環境から報酬（行動の評価）を受け取る
AIは受け取った報酬を使って、長期的な報酬を最大化するように、行動方針を更新する
強化学習で重要となるのは、「探索」と「利用」のバランス
探索 (exploration): AIが未知の行動を試すこと（=データ取得）
利用 (exploitation): 既知の情報をもとに、最大の報酬が予測される行動を選択すること
このバランスは、強化学習のアルゴリズムによって異なるが、基本的には自動的に最適化される。
「与えられたデータセットからパターンを学習する」タイプの機械学習（教師あり学習）との違いは、強化学習ではデータセットがあらかじめ決められているわけではなく、AIの行動ごとにデータを取得すること（特に「探索」で未知領域のデータ取得する）。
現時点での強化学習は、学習においてシミュレート環境や、LLMの学習における人間によるフィードバック (RLHF) などを必要とするが、その適用範囲は現実世界にも拡大しつつある（金融取引など）。そうなってくると、AIの学習に利用されるデータは、人間によってあらかじめ用意された限定的なものである、とは必ずしも言えなくなってくる。
強化学習に基づくAIが、ある意味「目的志向的に」動作することについて、限定合理性のセクションの記述
知識は目的志向的な人間の行為を通じてのみ発見されるものなので、AIには獲得され得ない
には検討の余地がある。AIが目的志向的に動作する場合に、AIはある種の知識を獲得していると言えるのではないか？
人間は未知の状況を探索する動機として、「このような情報が不足している」という予測を活用する。しかし、AIが人間のように「思考する」ことそのものが重要ではなく、AIが目的に適った行動をするかどうかにフォーカスするなら（これはイントロダクションで触れた、実用的なアプローチに基づく）、AIが自分が「知らない」ことを知っているかどうかは二の次になるだろう。
そして問題は、目的を（人間が）どのように設定するかに移るのではないか。
話がまとまらなくなってきた。私は混乱している。
--
あたかも（as if）意思決定をしているかのようにタスクを実行する機械を作ることはできても、経済におけるすべての選択と決定は最終的には人間が行う
←これはAIにおいても変わらない（以前は人間が行っていた仕事の一部が、機械に委ねられ効率化されるようになっただけ）
この辺りで、ごまさんのメモで飛ばされていた、委任 (delegation) の話が興味深いと思った。
Consider the trivial case of a vending machine: in example for a payment the vending machine provides a good. The machine itself, however, has made no choice or decision – it has been programmed by a human to perform in a particular way. All choices and decisions within an economy are ultimately made by humans. This includes delegated decisions. One of the benefits of AI – and industrialisation generally – is that many tasks previously performed by humans are now being delegated to machines.
（自動販売機の単純な例を考えてみよう：代金を支払うと自動販売機は商品を提供する。しかし、自動販売機自体は何の選択も決定もしていない。経済におけるすべての選択と決定は、最終的には人間によってなされる。これには委任された決定も含まれる。AI、そして一般的な産業化の恩恵のひとつは、以前は人間が行っていた多くの仕事が機械に委ねられるようになったことである。）
自動販売機が何の選択も決定もしていないと感じられるのは、自動販売機が決められたルールに従って動作することが明らかだからである。たとえば、ジュースの値段はあらかじめ定められており、客がお金を入れたにも関わらず自動販売機が商品を提供しない悲劇は滅多に起きるものではない。
しかし、もし自動販売機が、その日の気象条件に応じてジュースの値段を変動させるようプログラムされたらどうか？ もし、 自動販売機が、客の財布事情に応じてジュースの値段を変動させるようプログラムされたら？ 販売者の利益の最大化や、貧困問題の低減といった目的のもとにAIを搭載した自動販売機は、そのように動作するかもしれない。もちろんそのような場合でも、自動販売機はプログラムに従っているだけで「何の選択も決定もしていない」と言える。言えるのだが、本当にそう感じられるのか？ このことは、AIの代理人問題 (agency problem) に関連してくると思う。
暗黙知の伝達
現実世界の条件が期待した条件から大きく逸脱することによる適応失敗
非人間エージェントが期待通りに機能することを保証できるか
--
レオンティエフ[やランゲ]はコンピュータの本質を根本的に誤解している。コンピュータは賢い機械（「スマート・マシン」）ではない。なぜならば、コンピュータが「知っている」のは、プログラマーから明示的に指示されたことだけであり、実際には、プログラマーが本当の精神的作業をすべて行っているためである
It is highly significant that Leontief mistakes computers for intelligent minds. If one's view of knowledge is restricted to explicit numerical data and if one supposes mental processes to be no more than mechanical data processing, it is not surprising that one may feel a threat at being replaced by smart machines.
（レオンティフがコンピュータを知的精神と勘違いしていることは非常に重要である。もし自分の知識観が明示的な数値データに限定され、精神的プロセスが機械的なデータ処理に過ぎないと仮定するならば、賢い機械に取って代わられることに脅威を感じても不思議ではない。）
昨今の生成系AIの登場で、賢い機械に代替されることの脅威が高まってきた（と、一部では騒がれている）ことを指摘しておきたい。たとえば、現代のAIがプログラミングができるという事実は、従来は知識や精神的作業と思われていた物事（の少なくとも一部）が、もはや「機械的なデータ処理」に過ぎなくなったことを意味するのではないか。「本当の精神的作業」の領域は固定的なものではなく、AI技術の発達とともにその領域が縮小していくのかもしれない。
--
LLMは「学習」するが、人間とは異なり、「事前学習データを超えて生成する」ことはできない
人間も経験したことのない全く未知の状況で予測が困難になることには変わりがないので、「事前学習データを超えて生成する」ことができないのを「人間とは異なる」と言うのは微妙な感じがする。「なんでも知っている最強のAI」という期待に反して、であればもっともだと思うが。
人間と比較するなら、人間は自分が何を知っていて何を知らないかを知っている（メタ認知能力がある）ことに着目したい。それによって、人間は未知の状況で自分の推測が不確かであると認識でき、「それについて私は知らない」と言うこともできる。それに対して、LLMには、質問に答えるための材料が学習データに含まれているかどうかを判断する仕組みがなく、自分の推測の確からしさを評価することが困難になっている。
--
選好と資源は発見されるものであり、「所与の」ものではない（preferences and resources are discovered; they are not ‘given’）
この辺りはかなり重要っぽいし、筋も良さそうに思えるが、あまり理解できなかったので、助けて〜
計画経済における資源配分問題は純粋な数学的最適化で、"所与の"外生変数（たとえばりんごの総需要 aとりんごの生産費用b、みかんの総需要cとみかんの生産費用c）に対して内生変数を連立方程式の解として解く（りんご農家をx人、みかん農家をy人配置すれば最適な生産規模になる）みたいな感じのニュアンスで語られます（これがざっくりとしたnote内で少しでてくる「ワルラス的連立方程式」の中身です）
ハイエクの批判は、
市場原理をなくして、計画者が市場の代わりに計算、最適分配をしようという考えは間違っている。なぜならば、りんごの需要や生産費用のような外生変数は「所与」ではなく、市場の中で市場参加者が発見したり、（りんご農家が）工夫したりする時間的なプロセスのなかで形成されていくものだから、市場がなくなった時点で連立方程式の計算に必要なデータもなくなってしまうから。
ということですね。
--
Lambert & Fegley (2023)も、AIの訓練に使われるデータはすべて「完全に過去のもの」であると指摘している
→つまり、機械にも読み取り可能な形式で簡単に伝達できる既知の情報のサブセットで学習したAIは、起業家的機能を再現するのに十分な「知識」を持つことができない
AIs are trained on existing (given) information sets. They make probabilistic decisions i.e. they are able to make decisions involving risk, not uncertainty. In short, AIs are backward looking where entrepreneurs are forward looking.
ここで risk/uncertainty に関して混乱した… リスクを取るのは人間のすることであると思い込んだため… しかしChatGPTに聞いてみたところ、risk/uncertainty の区別は経済学の用語だと説明された。以下のような理解でよいか：
risk : 確率的な要素を伴う状況。様々なアウトカムと、それぞれが発生する確率が知られている。（たとえば、サイコロを振るとき、出る目の確率が等しく1/6であることが分かっているため、「リスク」のある状況である）（👉リスク下での意思決定）
uncertainty: アウトカムの確率が知られていない状況。（たとえば、新しい技術や市場など、過去のデータから予測できない場合）
これらをふまえると、さきほど書いた「未知の状況で人間は自分の推測が不確かであると認識できるが、LLMはそうではない」ことは、この uncertainty についての話に位置付けられる。
しかし、それをもって起業家たりえるかどうかを議論するのは、だいぶ飛躍があるんじゃないか？
DMでも書いたが、おそらく、私はあまり人間の創造性を信じておらず、人間は数が多いので新奇な発想に至るやつがいても当然、と思っているふしがある。そして、多様なAIを大量に作り、それぞれに起業させてみることは理論的には可能で、数がいれば成功するやつも出てくるだろうとも思う。後のセクションで、「大量の将来予測が可能になってその中から優れたものを選ぶことができるようになる」と書かれていたことと似ているかも。
AIが起業家になれないのは、責任を引き受けることができない（あるいは誰かが引き受けようとするのか）のが問題という気がする。そこで疑問に思うのは、人間が自分の選択に責任を負うことができるのはなぜか、もしAIを補助として使うとして人間はどのような条件が揃えば責任を引き受ける気になるのだろうか？ ということだ。
余談だが、ChatGPTは「起業は人間関係の構築が非常に重要である」（それゆえAIには難しい）とも言っていて、それもそうだなと思った。「AIが起業しまぁす！」とうまく宣伝すれば、面白がって投資してくれる人は一定数現れそうな気もするが。
起業家精神における暗黙知を、代理人問題の枠組みで考えるとどうなんだろう？ 起業家になるということを、投資家の代理人になるということだと考えるなら？（👉 [コメント2] "Davidson(2024)The economic institutions of artificial intelligence 要約"）
AIと組織： ウィリアムソンとロスバード（AI and organisation: Williamson and Rothbard）
（前半かなり経済学の話だったので、よくわからんかった… 助けて〜）
--
AIは情報の保存、検索、処理において人間の知能を凌駕するし、他のAIと曖昧さのない言語でコミュニケーションを取ることができる
ここで再び、どのようなAIを想定するのかを明確にする必要があると思う。AIの記憶容量が人間より遥かに大きく、情報の検索や処理能力も高いという点は同意できる。また、コミュニケーションに使用される「言語」（通信プロトコルやデータ形式）は標準化され、伝達の過程でデータが欠落する可能性は低い。
しかし、これはコミュニケーションの「手段」や「形式」に関するものであり、「内容」に関して曖昧さがないわけではない。AIはデータ処理において抽象化を行う（データを「解釈」する）が、どのような抽象化が最適かはAIの目的や設計に依存するため、異なる目的を持ったAIは同じデータに対して異なる解釈をする可能性がある。したがって、AIが他のAIにデータを送信したとき、伝達される「内容」には誤解や曖昧さが生じうる。このことは回避すべき欠陥ではなく、個々のAIの設計に基づく固有の性質に起因していると考えたほうがよい。
そのような伝達不可能な抽象化をAIの「ローカル」さと考えると、AIの限定合理性についての見方を更新できるのではないかと思うが…よくわからなくなった。
AIはどのような技術なのか？（What sort of technology is AI?）
〜結論（Conclusion）
昨日のDM（AIと人間が同じように限定的なデータを持っていたとしても、そこから異なる「発想」に行き着く可能性は否定できないのでは？）に関連して。
強化学習に基づくAIが、環境からのフィードバック（報酬）を基に行動戦略を修正することを考えると、「AIは進化的に適応するという力がない」という主張にも疑問が出てくる。未来のAIの可能性として、ある漠然とした目的を設定すれば、自律的にデータを収集し、それをもとに進化したり適応したりするようなAIが想定できるのではないか。
私としては、どんな究極的なAIを想定しても、AIは人間がなんらかの目的を持って設計したものであること（そこに意図せぬものが含まれていたとしても）だけは確実に言えると考えている。それゆえ、AIに重要な判断を任せる社会では、特に中央集権的なAIを想定すると、AIの設計や運用を行う人間が「サイバー独裁者」になりえる。このことは、最後に書かれていた「『決断を下す（make a decision）』とは何を意味するのか？」という哲学的な疑問に関連してくるように思う。
イントロダクションの部分で、AIの開発・運用においては、AIの判断や行動が人間の倫理観や価値観に合致するように設計や制御をする「アライメント」が重要視されていると説明した。これは、適切にアラインメントされたAIには、重要な判断を任せることができると思われるからだろう。そして、AIが「人間のように思考する」必要性は今のところ（実用的なアプローチにおいては）重視されていない。しかし、この論文で指摘されている起業家精神や知識の問題が、重要な判断を任せることができるかどうかにかかわるなら、何らかの「代理人としての資格」を示唆するものであるように思える。
所感（メモ）
例えばスポーツのAI審判やAIの裁判官は「間違えない」という意味で構成主義的には人間よりも合理的であっても、こうした限定合理性を持ち得ないという意味から、未知の問題や環境の変化に対する柔軟性を著しく欠く可能性がある
スポーツのAI審判やAIの裁判官は「間違える」。このコメントで何度も指摘したように、AIは人間と同じように、限定合理的でも非合理的でもありうる。
コメント2 に続く…
[メモ3] 所感（メモ）についての追加コメント
「限定合理性（bounded rationality）」
こまごまと入れてきたツッコミについて、整理しておきたい。
5Oさんの分け方に従って大きく分けて2つだが、両方とも、決定論的AI（従来型の機械）を想定すれば著者と同じ見方になるかもしれないが、非決定論的AI（現代的なAI）を想定すると違った見方になるのでは…と思う。
判断を任せきりにはせず、「便利な道具」として、どのように活用できるかという見方についても追加検討が必要なのでは。
前半（マクロな/ミーゼス-ハイエク的な）問題を議論するパートでは、Gigerenzer(2017)のいう「３つの定義」の３つ目（時間・認知コストなどが限定された環境に対して適応的な、という意味での合理性；サイモン-ギーゲレンツァー式の進化心理学的な概念；「限定合理性を持ち合わせている」ということは徹頭徹尾ポジティブな意味になることが重要）が用いられている
→AIは人間のように高速倹約的なヒューリスティックを環境に応じて使い分けたり、”コツ”のような暗黙知を身につけたりすることはできない：つまり、AIは（人間と違って）限定合理性を持ち得ないという主張がなされている
非決定論的AIもまた、独自の限定合理性を持ち得る
満足のいく解 (satisfactory solution) を見つけるという方法で機能する、高速倹約的なヒューリスティックである
「暗黙知」は学習データや学習環境に含まれ、AIに伝達される（開発者が意図したもの、意図していないものの両方）
非決定論的AIが独自の限定合理性を持ちうるとしたら、ミーゼス-ハイエク的な問題を解決する補助として使えるのか？
ただちに否定はできないが、不確実性 (uncertainty) についてさらなる検討が必要
「設計時に考慮された要素」と「考慮されていない要素」の境界は、明確な二分法とは言い難い
動作原理に加え、開発者・使用者がどのような動作を期待しているのか、AIがどのような環境に投入されるかも不明確であるため
人間がどのように責任を負うのかについても
不確実性下での意思決定で、非決定論的AIが全く役に立たないとは言えないだろう（程度問題）
たとえばLLMベースのアシスタントに「相談する」
正解を提供するものではないし、「すべてのリスクを考慮に入れ…という合理的な選択の助けとしては弱い
それでも、一般的なアドバイスを得て納得できる選択につなげる、いわゆる「壁打ち」的な使い方はできるかも
後半（ミクロな/ウィリアムソン-ロスバード的な）問題を議論するパートでは、「３つの定義」の１つ目か２つ目（従来の意味での合理性 [Complete RationalityだのBaysian RatioranityだのUnbounded Rationalityだの呼び方とニュアンスが論者によって微妙に異なるが、要するに「めっちゃ計算できてまったく間違えない」] の能力が、人間は限定されているという意味；「限定合理性」と「非合理性/合理的選択理論からの逸脱」の同一視；「限定合理性を持ち合わせている」ということは（だいたい）ネガティブな意味になる）が用いられている
→AIは非合理性と非効率性を減らして、企業組織の意思決定を助けるだろうという話と、それでもAIにもできないことはあるだろう（起業とか）という、言ってしまえば当たり前のことしか言えていない
→ギーゲレンツァーとウィリアムソンが同じ「bounded rationality」という語を用いているという共通点からこの議論を持ってきたのだと思うが、両者の差異は明白
非決定論的AIは、方程式を解くような計算に使うものではないし、間違える
業務において／組織の非効率性を減らすことはできるだろう（情報検索、自動翻訳、文章校正、etc.）
非合理性を減らすという方向で機能するかどうかは微妙そう
微妙… さっきの「壁打ち」的な使い方ならいくらかは役に立つのか？
この記事が気に入ったらサポートをしてみませんか？