AI Agent Meetup にシュッと参加してきたというただの感想レポ

ちゃっす(/・ω・)/

本日はこちらのイベントに参加してきたのでただの感想レポを書くでござんす(/・ω・)/

AI Agent MeetUp Tokyo by Saldra (2023/09/24 18:00〜)

AI Agent MeetUp 、、、その名が示す通り濃ゆい感じのイベントでございますな(/・ω・)/

しかし、AI Agent と一口にいってもいろいろなものがあるでござんす。

AI に個性を持たせようとしている人もいれば、人格は不要だがタスクを完遂してくれる AI を目指す方など幅広い意見がありんす。

ワタクシはどちらかというと最強のパートナーとしてエージェントを作りたい（自分の作業負荷を軽減したい）のが主でそこにかわいい個性がついたらいいなぁ～くらいの感じのスタンスでございます。

と、言うようなたくさんの人（多分40人くらい？）が集まったミートアップでございました。

全員とはお話はできなかったのですが、自分が話した中だと

エージェントの記憶システムをどのように実装するか？

どういった出力を正とするか？

の二点（記憶と評価）が割と盛り上がった印象でございます。

かつ、今後はマルチモーダルが来るのが分かっているのでそれも踏まえてどういうエージェントを作るといいかなぁ(　・ω・)

みたいな話がでましたな。

そしてなんといって動きが早すぎるのでみんなキャッチアップ大変ですわ、ガハハ(*´▽｀*)

という。

そして良い出力を出すにはどうすればいいか？

プロンプトの工夫、データセットの工夫、コンテキストに外部情報を埋め込む工夫、会話履歴のどういった部分にフォーカスするかの工夫、、、

etc…

いろいろとお話がでてきましたな(/・ω・)/

が、結局いかにいい出力がでたとしてもそれを検知するにはどうするか、、、が悩ましい。

一般的な評価データセットやらリーダーボードはあるけれど、LLM の評価はムズイ。

となるとやはりオレオレ評価データセットを作ってそれによる評価をするといいのではないかしら？(　・ω・)

と、なりますわな。

評価を AI にさせるのもできるけど、結局その評価 AI に対する評価はどうするのか、、、というエンドレスワルツ。

もちろん解かせるタスクやサービスとして提供するかどうかなどで全く評価は異なってくるのわけでございますが、少なくとも自分にとっての良さを確認するには自分の評価を確立するのがいいじゃね？(　・ω・)

と、今日お話をしていて個人的に感じましてござる。

他にもいろいろ話をしていたけどシュッと思い出せる範囲でとりあえず書いてみた。

というわけでおしまい。