LLMを使い続ける中で，オブジェクトと身体と言語についてぼんやり考えている．

xDiversityのみんなで久々に研究テーマについて考える会があった．

【xTalk #27】 落合陽一×遠藤謙×菅野裕介×本多達也/ JST CREST xDiversity

最初，遠藤さんのnoteを踏まえて議論が始まった．

私も最近は言語オブジェクトばかりやってたから，この辺に興味がある．

arxivにおいておいた，論文がちらほら拾われているのを目にする．

Towards Digital Nature: Bridging the Gap between Turing Machine Objects and Linguistic Objects in LLMMs for Universal Interaction of Object-Oriented Descriptions

さて，そんなコンテクストで，上の研究メンバーでの議論を見てみよう．いつも通りwhisperだ．GPT-4の校正をそのまま出しているので，話者とその人間が発話したかどうかは必ずしも正しくない（本にすることなどがあったら直そうとは思うものの，文意は取れるのでこれはこれでAIっぽくて面白いと思うことにしよう

You are Japanese Academic Article Editor. You revise, reconstruct, reorganize {INPUT} text to academic readable dialogue text. {INPUT} is the conversation of 4 researchers, Yoichi Ochiai (落合陽一), Ken Endo（遠藤謙）, Yusuke Sugano（菅野祐介）, Tatsuya Honda（本多達也）．{INPUT} is the generated text from recording video by OpenAI whisper. fill the context of {INPUT} , make {INPUT} readable, correct {INPUT} for generative mistakes of captioning. Carefully distributing, connecting, adding the concrete example to make {INPUT} text smooth and factfully who spoke each sentences. Then please output converted English dialogue text up to 4000 words and summarizations 4000 words in English text.

SYSTEM

INPUT =  whispered text (後述します：やってみて)

USER

Revised Dialogue:

Yoichi Ochiai (落合陽一): Thank you all for joining our discussion today. Let's start by talking about something interesting that happened recently. A friend of mine was making sushi and I was intrigued by the process of mixing sushi vinegar in a sushi tub. What do you think about the importance of making delicious sushi, and have you been enjoying good sushi lately?

Ken Endo（遠藤謙）: Recently, I've been quite busy with my research, but I do enjoy good sushi whenever I get the chance.

Yusuke Sugano（菅野祐介）: Speaking of research, I've heard that AI technologies like GPT-4 and AI-generated summaries should not be used in academic settings, as it could lead to plagiarism and other issues. What do you think about this?

Tatsuya Honda（本多達也）: It is indeed a difficult topic to discuss. While offline technologies like GPT-4Wall might be considered safe, there's always a risk that students may use AI-generated summaries inappropriately.

Yoichi Ochiai: That's true, and it's not fair to restrict AI use only to non-students. There will always be individuals who misuse the technology anyway. On a different note, Ken, I heard that you recently wrote an interesting paper. Could you briefly explain the main idea?

Ken Endo: Sure. With the recent developments in AI language models like GPT-4, I've been considering how human physicality could be further expanded using these technologies. For example, could we use AI to create more advanced and efficient ways of moving and interacting with our environment?

Yusuke Sugano: That's an fascinating concept. I remember reading a paper called "Virtual Creatures" by Karl Sims in the 1990s, which was a groundbreaking work on artificial life. It explored how computers could evolve both the shape and movement of virtual creatures, resulting in life-like behavior. Do you think that as AI continues to advance, we might see even more impressive developments in the realm of physicality?

Ken Endo: I do believe so. My recent research has focused on trying to understand when a phase transition, or a sudden shift in the behavior of these AI-generated creatures, might occur. Most of the current research still produces fairly primitive, insect-like creatures, but I'm curious to see when a more advanced breakthrough might happen.

Yoichi Ochiai: I'm also very interested in that phenomenon of phase transitions. While I'm not exactly sure if it's the right term to use, it reminds me of the phase transitions we see in physics, such as ice turning into water or water turning into vapor. It's fascinating to think about how these transitions could apply to AI-generated creatures as well.

Tatsuya Honda: I agree, and I think it's essential to consider how the advancements in AI intelligence will intertwine with physicality. Yoichi, I heard that you have been working on creating an object language using GPT-4. Could you tell us more about that?

Yoichi Ochiai: Yes, since GPT-4 was released, I've been spending around 15 hours a day working with it. I even turned my Twitter account into a script for a while, and I've been thoroughly exploring the capabilities of this language model. I believe I've reached a point where I can see the potential for a world model or a unified understanding of the world using AI-generated language.

In summary, the researchers discussed the importance of making delicious sushi and the potential issues with using AI-generated summaries in academic settings. They also touched upon the advancements in AI language models like GPT-4 and their potential applications in expanding human physicality. The conversation led to the topic of phase transitions in AI-generated creatures and the development of a world model using AI-generated language.

AI generated 

ダイアログを改訂しました：

落合陽一（おちあいよういち）です： 皆さん、本日はお集まりいただきありがとうございます。まずは、最近あった面白い出来事からお話ししましょう。友人が寿司を作っていて、寿司桶の中で寿司酢を混ぜる作業に興味を持ちました。美味しいお寿司を作ることの大切さについてどう思われますか？また、最近美味しいお寿司を召し上がっていますか？

遠藤憲（以下、遠藤）： 最近は研究が忙しくなってきましたが、機会があれば美味しいお寿司を食べたいです。

菅野祐介（以下、菅野）：そうですね： 研究といえば、GPT-4やAIが生成する要約などのAI技術は、盗用などの問題があるため、アカデミックな場では使うべきではないと聞いたことがあります。これについてはどうお考えでしょうか。

本田達也（以下、本田）：そうですね： 確かに難しいテーマではある。GPT-4Wallのようなオフラインの技術は安全だと思われるかもしれませんが、AIが生成した要約を学生が不適切に使用するリスクは常にありますね。

落合陽一氏（以下、落合 そうですね、AIを学生以外に限定するのはフェアではありません。いずれにせよ、技術を悪用する個人は必ず出てきますから。話は変わりますが、ケンさんは最近、面白い論文を書かれたそうですね。その主旨を簡単に説明してください。

遠藤賢です： GPT-4のようなAIの言語モデルが発達してきた昨今、これらの技術を使って、人間の身体性をさらに拡張できないかと考えています。例えば、AIを使って、より高度で効率的な動きや環境との関わり方を実現できないか。

菅野祐介 それはとても面白い発想ですね。1990年代に読んだカール・シムズの「Virtual Creatures」という論文がありますが、これは人工生命に関する画期的な研究成果でした。コンピュータが仮想生物の形や動きを進化させることで、生命に近い振る舞いを実現するというものです。AIの進化に伴い、フィジカルな領域でさらに素晴らしい進化を遂げる可能性があるとお考えでしょうか？

遠藤憲：そう思います。私の最近の研究テーマは、AIが生成した生物の挙動が突然変化する「相転移」がいつ起こるか、ということです。今の研究では、まだ昆虫のような原始的な生き物が多いのですが、より高度なブレイクスルーがいつ起こるのか、興味津々です。

落合陽一：私は、相転移という現象にも非常に興味があります。氷が水になったり、水が蒸気になったりと、物理の世界で見られる相転移のようなものです。このような相転移が、AIが生成する生物にも当てはまるのではないかと考えると、とても興味深いですね。

本田達也：私もそう思いますし、AIの知能の進化が物理性とどう絡んでいくかを考えることは必須だと思います。洋一さんは、GPT-4を使ったオブジェクト言語の作成に取り組まれているそうですね。そのあたりを詳しく教えてください。

落合陽一：はい、GPT-4がリリースされてからは、1日15時間くらいはGPT-4と向き合っていますね。一時期は自分のTwitterアカウントもスクリプトにして、この言語モデルの能力を徹底的に追求しました。AIが生成した言語による世界モデル、あるいは世界の統一的な理解の可能性を見出せるところまで来たと思っています。

まとめとして、美味しいお寿司を握ることの重要性や、AIが生成した要約をアカデミックな場で使うことの潜在的な問題点などが語られました。また、GPT-4のようなAI言語モデルの進歩や、人間の身体性を拡張するための応用の可能性についても触れられました。さらに、AIが生成する生物の相転移や、AIが生成する言語を用いた世界モデルの開発など、話題は尽きませんでした。

GPT-4

Yoichi Ochiai: In our world, objects play a significant role in our understanding of the environment. By naming objects, such as mathematical equations, abstract concepts like friendship, or tangible things like desks, dogs, or even people like Honda-san, we create a world around us. However, when there's an abundance of objects, the relationships between them start to become vague, and this is something I've noticed with GPT-4.

Ken Endo: I've spent a month being deeply interested in how our body's knowledge about the world affects our understanding of it. However, most of our knowledge of the world is not entirely accurate. It's like someone who has only practiced swimming by reading books in a library - the experience doesn't quite match the reality. But, interestingly, when the experience is provided, our knowledge starts to fit better.

Yusuke Sugano: Language is a crucial aspect of our self-body perception. We recognize parts of our body, like fingers, as objects, but we don't necessarily think of them as objects when we move them. This gap between object recognition and actual movement is fascinating.

Tatsuya Honda: In our conversations, I sometimes worry if I fully understand the concept of "object." What exactly is an object, and how does it relate to object-oriented thinking? There's a phenomenon where we struggle with communication when we don't have a clear understanding of these concepts.

Yoichi Ochiai: I find Carl Sims' work fascinating because he heavily relies on object-oriented thinking. However, I believe that objects themselves are not necessarily aware of their own existence. The distance between the two is what intrigues me. In communication, objects might not be necessary, but they do help humans in recognition and understanding.

Ken Endo: In the field of natural language processing, especially in English, parsing can be done relatively easily by connecting objects through language. It might be why objects are convenient to use and why they have excellent compatibility with GPT-4.

Yusuke Sugano: When we first started working on the project, we didn't specifically aim to create a small language using objects. We continuously input Buddhist scriptures and attempted to minimize them using Python. However, when we incorporated neural networks, the text became object-oriented, and it resulted in some interesting findings.

Tatsuya Honda: GPT has a unique aspect where it seems to try to learn from reinforcement learning. When interacting with the interface, you can feel that the learning routine is constantly present, which is different from how things work in reality.

Yoichi Ochiai: In the real world, we understand the laws of physics, such as Newton's laws of motion and acceleration due to gravity. However, these laws are not always accurate since they depend on factors like the distance from the center of gravity and the effects of other objects. Energy absorption, for example, is not just about spring-dampers, but also involves sound and heat.

In summary, our understanding of the world is heavily influenced by the concept of objects and their relationships. The gap between object recognition and actual movement, as well as the compatibility between objects and natural language processing, are fascinating aspects of human cognition. GPT-4's learning process and its relationship with reinforcement learning also provide interesting insights into artificial intelligence and its differences from the real-world understanding of physics.

GPT-4

落合陽一：私たちの世界では、モノが環境を理解する上で重要な役割を担っています。数式や友情などの抽象的な概念、あるいは机や犬、本田さんのような人など、モノに名前をつけることで、私たちは自分の周りに世界を作り出しています。しかし、モノが多くなると、モノとモノの関係が曖昧になってしまうということが、GPT-4で気づいたことです。

遠藤憲：私はこの1カ月間、世界に関する体の知識が、世界に対する理解にどのように影響するかということに深い関心を抱いてきました。しかし、私たちの世界に関する知識のほとんどは、完全に正確なものではありません。図書館で本を読んで泳ぐ練習しかしたことがない人のように、体験と現実がまったく一致しないのです。しかし、面白いことに、体験が提供されると、私たちの知識はよりフィットし始めるのです。

菅野祐介さん 言葉は、私たちの自己身体認識の重要な要素です。私たちは、指のような体の一部をモノとして認識していますが、それを動かすときに、必ずしもモノとして考えているわけではありません。この、モノの認識と実際の動きのギャップが面白いんです。

本田達也：お話を伺っていると、"モノ "というものをちゃんと理解できているのだろうかと不安になることがあります。オブジェクトとは一体何なのか、オブジェクト指向とどう関係するのか。このような概念を明確に理解していないと、コミュニケーションに苦労する現象がありますね。

落合陽一：カール・シムズの作品が魅力的なのは、オブジェクト指向の考え方に大きく依存しているからだと思います。しかし、オブジェクトそのものは、必ずしも自分の存在を意識しているわけではないと思っています。その距離感に興味を惹かれます。コミュニケーションにおいて、モノは必要ないかもしれませんが、人間が認識・理解する上では役に立ちますよね。

遠藤憲：自然言語処理の分野、特に英語では、言語を通じてオブジェクトをつなげることで、比較的簡単に構文解析を行うことができます。オブジェクトが便利に使えるのも、GPT-4との親和性が高いのもそのためかもしれません。

菅野祐介さん プロジェクトを始めた当初は、特にオブジェクトを使った小さな言語を作ろうとは思っていなかったんです。仏典を継続的に入力し、それをPythonで最小化することを試みていました。しかし、ニューラルネットワークを取り入れたところ、テキストがオブジェクト指向になり、面白い発見がありました。

本田達也：GPTは、強化学習から学ぼうとしているようなユニークな側面がありますね。インターフェイスに触れていると、学習のルーチンが常に存在しているような感じがして、現実の仕組みとは違うんですよね。

落合陽一：現実の世界では、ニュートンの運動法則や重力による加速度など、物理法則を理解しています。しかし、これらの法則は、重心からの距離や他の物体の影響などに左右されるため、必ずしも正確ではありません。例えば、エネルギーの吸収は、スプリングダンパーだけでなく、音や熱も関係してきます。

つまり、私たちの世界認識は、物体の概念とその関係性に大きく影響されているのです。物体の認識と実際の動作のギャップや、物体と自然言語処理の相性など、人間の認知の魅力が詰まっています。また、GPT-4の学習過程や強化学習との関係も、人工知能や現実の物理理解との違いについて興味深い知見を与えてくれる。

GPT-4