川本達郎 🔛 Aska Intelligence

国立研究所の主任研究員ですが、休職してスタートアップをやっています。 会社の公式マガジ…

川本達郎 🔛 Aska Intelligence

国立研究所の主任研究員ですが、休職してスタートアップをやっています。 会社の公式マガジン（Aska Intelligence）を含みます。 LLM/機械学習・統計・アンケート調査・可視化・AI動画制作

  • Aska Intelligence

    合同会社Aska Intelligenceのサービス内容や、アンケート調査やデータ分析など、事業に関連する記事を載せていきます。

  • ライトニング・サマリー ブログ

    主にLLM論文のまとめです。YouTubeチャンネル『Lightning Summary』の動画を制作する上で整理した内容をまとめたものです。動画には入れられなかった内容も含まれています。

  • ちょっとディープなデータ可視化の話

    入門書には載っていないような少しディープなデータ可視化の内容について解説していきます（比較的詳しい洋書や学術論文の抜粋解説、独自の解説記事など）。 ディープといっても雑学的な内容が多めです。（一部数学寄りの内容あり） 可視化の入門書はたくさんありますが、その手の書籍で少し物足りないなと感じたと感じた方は楽しんでいただけると思います。

Persona Hubについて

少し前に中国のTencentのチームが発表したPersona Hub（テクニカルレポート）について書いてみたいと思います。 Persona Hubは、ウェブデータを活用して膨大なペルソナ（「〇〇の専門家」みたいな人格・属性を表す短文）を生成したデータセットです。 具体的にどうやって生成しているかは示されていないようですが、ペルソナからさらに別のペルソナを生成することで、ペルソナの多様性を増やしているそうです。ペルソナ間の被りがなるべく小さくなるように工夫しており、合計で約

川本達郎 🔛 Aska…

    • 選択式アンケートの難しさ 〜質問文と選択肢〜

      こんにちは、Aska Intelligenceの川本です。 今回は、選択式アンケートについて、選択肢・質問文の設計の困難について触れます。 分析の困難については、また別の機会に書きたいと思います。 アンケートの調査設計は難しいという話は聞いたことがあるかもしれませんが、具体的にどんな難しさがあるのかを知らないと、どう難しいのかが分かりにくいかもしれません。 例え話あなたは道を歩いていて、ある政党の青年団から街頭アンケートへの回答をお願いされました。 質問内容は以下のような

      川本達郎 🔛 Aska…

      • 大勢の人の意見を取りまとめるツール『Aska』

        こんにちは、Aska Intelligenceの川本です。 今回は弊社が運営しているアンケートシステム『Aska』のご紹介です。 アンケートって、ちょっとしたものなら実施するのは簡単だし、手法も大昔に確立されていて「今さら？」と思うかもしれません。 確かにアンケートは古くからあります。 でも郵送調査から電話調査、ウェブ調査へと、案外20年〜40年くらいの間隔で大きな変革が起きています。 そしてウェブ調査が出現してからもう20年ほど経っています。 スマホやSNSが普及し

        ¥500
        川本達郎 🔛 Aska…

        • 1000人のAIエージェントに「炎上してしまったアーティストはどうするべきか」考えてもらいました

          Mrs. GREEN APPLEの「コロンブス」のMVがこの記事を書いている時点では直近の大きな炎上ですが、SNSでの炎上は定期的に起きています。 今回は、「炎上してしまったアーティストはどうするべきか」を1,000人分のAIエージェント（GPT-4o + GPT-3turbo）に考えてもらいました。使用するツールは弊社のAskaに搭載されているAIアンケートシミュレーターです。 Askaについての説明はこちらをご覧ください： 普通にChatGPTに聞いてみた結果100

          川本達郎 🔛 Aska…

        Persona Hubについて

        川本達郎 🔛 Aska Intelligence

        マガジン

        • Aska Intelligence
          4本
        • ライトニング・サマリー ブログ
          4本
          ¥100
        • ちょっとディープなデータ可視化の話
          11本
          ¥500

        記事

          マルチ・エージェントプロンプトでLLMのパフォーマンスは向上するのか

          AIエージェントたちによる"クラウドソーシング"

          ¥100
          川本達郎 🔛 Aska…

          マルチ・エージェントプロンプトでLLMのパフォーマンスは向上するのか

          ¥100
          川本達郎 🔛 Aska Intelligence

          ChatGPTはヘイトスピーチを理解できるのか

          YouTube動画ヘイトスピーチ問題今回の記事は、以下のWWW'23の論文の内容です。 LLMが倫理的問題にどう対処するかはかなり初期からの問題ですが、今回はChatGPTはヘイトスピーチを判定できるかという問題を検証した内容です。

          ¥100
          川本達郎 🔛 Aska…

          ChatGPTはヘイトスピーチを理解できるのか

          ¥100
          川本達郎 🔛 Aska Intelligence

          AIに書いてもらった文章であることはバレるのか

          このタイトルを見てドキっとする人もいるかもしれません。 AIが生成した文章は、実際のところ、それがAIによって書かれたとバレるのでしょうか。 結論勿体ぶってもいいんですが、結論から言うと、現状はバレません。 ただし、「おそらくAIが書いたもの」と判定するポイントは存在します。 「AI判定器」は存在するウソ発見器のように、ある文章がAIによって書かれたかどうかを判定するソフトウェア（AI）はあります。 問題はこれがどれくらい正しく判定できるかということなんですが、世に出回

          川本達郎 🔛 Aska…

          AIに書いてもらった文章であることはバレるのか

          川本達郎 🔛 Aska Intelligence

          LLMのキャリブレーション："logprob"の値が高ければ結果を信頼できるのか？

          YouTube動画LLMのキャリブレーション（Calibration）MMLUという超メジャーベンチマークの原論文で結構強調されているにも関わらず、MMLU関連で言及している人があまり見当たらないキャリブレーションについて説明していきます。

          ¥100
          川本達郎 🔛 Aska…

          LLMのキャリブレーション："logprob"の値が高ければ結果を信頼できるのか？

          ¥100
          川本達郎 🔛 Aska Intelligence

          300人のAIエージェントに「カスハラ対策」について考えてもらった結果...

          カスタマーハラスメント（いわゆるカスハラ）が連日ニュースで話題になっていますね。Askaを用いて、300人のAIエージェントに「カスハラ対策」について回答してもらいました。 Askaについては以下の記事をご参照ください。 質問結果細かいデータはこちらに掲載してあります。 🈺 「お客様第一主義」はマイノリティ 顧客理解に努めるというような、あくまで「お客様第一主義」を支持する回答者が一定数いますが、これはマイノリティですね。 最も過激な意見としては「顧客満足度を向上さ

          川本達郎 🔛 Aska…

          300人のAIエージェントに「カスハラ対策」について考えてもらった結果...

          川本達郎 🔛 Aska Intelligence

          300人のAIが「労働と経済成長」について考えたらオーバーツーリズムの話題が出てきた

          こんにちは、今回はSDGsの８番目の課題である「労働と経済成長」について、Askaを用いて300人のAIエージェントに回答してもらった結果をご紹介します。 質問内容元アンケートは英語ですが、ここでは翻訳してご紹介します。 処理手順 このアンケートでは、最初に選択肢としての初期回答が自動生成されます。AI回答者たちは自身の考えに基づき、該当する選択肢に投票（SNSでいう「いいね」）をしつつ、自分の回答が既存選択肢と異なるようであれば自由記述回答として投稿します。投稿された

          川本達郎 🔛 Aska…

          300人のAIが「労働と経済成長」について考えたらオーバーツーリズムの話題が出てきた

          川本達郎 🔛 Aska Intelligence

          タイ語翻訳とプロの英文添削で気づいたChatGPT翻訳の微妙な困難

          ChatGPTの翻訳精度はどうなのかという話は、もうみなさん耳タコな話だと思いますが、ちょっと違う視点で書けるかもと思ったので書いてみます。 事の始まりうちの会社で運営しているAskaというSaaSですが、実は15ヶ国語に対応しています。なんでそんなに対応しているかはさておき、英語以外の翻訳は完全にChatGPT頼みです。 そのうちの１つがタイ語で、私はまったくタイ語は分かりませんが、文字がそれっぽいと出来た気になります（盛大な気のせい）。 先日とあるタイの会社の副社長

          川本達郎 🔛 Aska…

          タイ語翻訳とプロの英文添削で気づいたChatGPT翻訳の微妙な困難

          川本達郎 🔛 Aska Intelligence

          MMLUデータセットとは何か: LLMの性能測定

          YouTube動画noteで日本語記事にしていない動画もありますので、よかったらYouTubeも高評価やチャンネル登録していただけると励みになります！ MMLULLMのベンチマークデータセットは多数ありますが、今回はHendrycks et al. ICLR (2021)によるデータセット MMLU (Massive Multitask Language Understanding) について、原論文の内容を追う形でまとめていきたいと思います。

          ¥100
          川本達郎 🔛 Aska…

          MMLUデータセットとは何か: LLMの性能測定

          ¥100
          川本達郎 🔛 Aska Intelligence

          AIアンケートシミュレーターとその周辺

          こんにちは、Aska Intelligenceの川本です。 この記事は、以下の記事とペアになっています。 前回の記事で、「大量のAIたちの意見を取りまとめるツール」のAskaをご紹介をしましたが、今回はもう少し技術的な背景の話をしていきたいと思います。 といっても実装の中身を説明するというより業界地図的な技術背景です。 Aska自体の概要は、前回の記事をご参照ください。 Askaでは人々から回答を集めるような通常のアンケートの側面もありますが、今回はAIアンケートシミ

          ¥500
          川本達郎 🔛 Aska…

          AIアンケートシミュレーターとその周辺

          ¥500
          川本達郎 🔛 Aska Intelligence

          大量のAIエージェント（と人間）の意見を取りまとめて視覚化するツール

          こんにちは、Aska Intelligenceの川本です。 今回は、弊社で運営しているシステム『Aska』を 大量のAIエージェントの意見を取りまとめて視覚化するツール として、順を追って概要を説明していきたいと思います。 背景いくらかの人は「ChatGPTにアイディア出しやダメ出しをしてもらう」ことを日常的にやっているかと思います。 １回ChatGPTに尋ねたあと、気に入らないのでもう一回尋ねると、他の提案をしてくれたりしますよね。 もう一度尋ねたら、さらに新たな

          ¥500
          川本達郎 🔛 Aska…

          大量のAIエージェント（と人間）の意見を取りまとめて視覚化するツール

          ¥500
          川本達郎 🔛 Aska Intelligence

          PandasAIのメモ（v1.xからv2.xでの変更点）

          この記事を書いている時期PandasAIはほぼ毎日更新されているので、この記事の賞味期限はどれくらいか全然わかりませんが、作業ログ的にまとめていきます。 Disclaimer v1.x (1.4.6)からv2.x (2.0.30)への変更で私が認知したものをまとめていきますが、具体的にどのバージョンで変更されたかまでは追っていません。 この記事は、網羅的に調べてまとめたものではありません。 ダウングレードでは粘れません 昔のバージョンのpandasaiを指定して粘ろ

          川本達郎 🔛 Aska…

          PandasAIのメモ（v1.xからv2.xでの変更点）

          川本達郎 🔛 Aska Intelligence

          1.6 「折れ線グラフは"読めない"」論争

          折れ線グラフ論争の元ネタ 2023年の夏、Nightingaleという可視化に関するサイトに "Connected Scatterplots Make Me Feel Dumb"（折れ線グラフは私を愚かに感じさせる） という記事が公開されましたが、一方でそれに反論する形でMediumに "Are Connected Scatterplots Unreadable?"（折れ線グラフは読めないのか？） という記事が投稿されました。 それなりに盛り上がっている話題のようなので、

          川本達郎 🔛 Aska…

          1.6 「折れ線グラフは"読めない"」論争

          川本達郎 🔛 Aska Intelligence