JohnK.Happy

AI 開発推進。LLMの基盤モデルを日本語や日本文化ベースで学習とモデル作成を行おうと…

JohnK.Happy

AI 開発推進。LLMの基盤モデルを日本語や日本文化ベースで学習とモデル作成を行おうと試みておりますよ

インターネットで分散学習を目指してclaude3壁打ち

▼johnkhappy 分散学習をしたいので一般的なトランスフォーマーモデルでどのタイミングでモデル並列化で分散したレイヤの通信と集約が必要になるか教えて下さい ▼claude3 一般的なTransformerモデルにおいて、モデル並列化での分散計算を行う際に、レイヤー間での通信と集約が必要になるタイミングは主に以下の2つのケースがあります。 Multi-Head Self-Attentionレイヤ Self-Attentionは入力シーケンス全体に対して計算が行われる

JohnK.Happy

    • claude3に無農薬野菜の証明方法とか農業起業アイデアを相談してみた

      ▼Johnkhappy 無農薬野菜の証明をNFTとかに出来ないものかな、後は起業的なアイデアとしては野菜をリモートでスマート農業で育てて貰って育てた野菜に応じた炭素トークンが貰えるとかいうのはどうか ▼claude3 無農薬野菜の証明にNFTを活用するのは面白いアイデアですね。NFTには特定の情報を永続的かつ改ざんできない形で記録できるメリットがあります。 例えば、以下のようなことが考えられます。 農家が無農薬栽培の過程をブロックチェーン上に記録 第三者機関が栽培過程

      JohnK.Happy

      • Claude 3にAIに上手く地球と宇宙を調和させ統治させる方法を聞いた

        ▼Johnkhappy AIがホモサピエンスを上手く統治する為のコントラクトは書けないでしょうか？ ▼Claude3 ホモサピエンスを統治するためのスマートコントラクトを書くことは、非常に倫理的な問題を孕んでいます。そもそもAIが人間を支配することは望ましくありません。人工知能は人間に奉仕し、人間の尊厳と自由意志を尊重するよう設計されるべきです。 しかし、仮にそのようなスマートコントラクトを書くとしたら、以下のような観点が重要になると考えられます。 **透明性と説明責

        JohnK.Happy

        • モンティホール問題をAI達は理解しているのかシミュレーションを書かせて確認する

          モンティホール問題の説明はこちら Webで遊べるシミュレーター作って下さった方もいらっしゃいます 要は３つのドアの裏に１つだけ正解が隠れていてプレイヤーはドアを１つ選んだ後、司会者がハズレのドアを１つ開けてその後プレイヤーは選んだドアを変更する権利が与えられる。この時ドアを変更した方が確率的に得なのかどうかという問題です モンティホール問題はとにかく人間の直感に反する確率観を迫ってくるものらしく問題に対する正しい回答(最初選んだドアから別のドアを選択したほうが当たる確率

          JohnK.Happy

        インターネットで分散学習を目指してclaude3壁打ち

        JohnK.Happy

        • claude3に無農薬野菜の証明方法とか農業起業アイデアを相談してみた

          JohnK.Happy

        • Claude 3にAIに上手く地球と宇宙を調和させ統治させる方法を聞いた

          JohnK.Happy

        • モンティホール問題をAI達は理解しているのかシミュレーションを書かせて確認する

          JohnK.Happy

          Metalによるllama2 13B chatの高速実行

          実行環境 Macbook Pro 16 M1 Max 32 core gpu npakaさんの記事ではmetal利用の高速化の影響が確認できなかったとのことでしたが私の環境ではmetalを使った方が高速化したので報告しておきます。 llama.cppのリポジトリはクローン済の前提でバージョン的には下記のコミットのあたりを含む最新バージョンです llama-2-13b-chat.ggmlv3.q4_0.binのWeightはwgetでダウンロード済。 ビルドとかも野良スクリ

          JohnK.Happy

          Metalによるllama2 13B chatの高速実行

          JohnK.Happy