ねぎぽよし

Luppet™(ラペット)を作っています。 株式会社ラペットテクノロジーズ CEO …

ねぎぽよし

Luppet™(ラペット)を作っています。 株式会社ラペットテクノロジーズ CEO キャラクター関連の技術開発(AR・VR)が好きなエンジニア兼経営者です。初音ミクさんが好き。

OpenAIのgpt-4-vision-previewに画像を投げてどんなことをしてくれるのか試してみた

今朝のOpenAI DevDaysで発表されましたが、遂に待望のマルチモーダルAPIが開放されましたね！ 個人的にはこれ(↓)ができそうで大変ワクワクしています。 gpt-4-vision-previewについて知る 捉え方としては「GPT-4が視覚を持つようになったもの」なのでテキストタスクも引き続きGPT-4と同等の精度で扱える URLでもBase64エンコードした画像のどちらでもOK png jpeg webp git(アニメーション無しのものに限る)を受け

ねぎぽよし

    • 【Unity】ChatGPTに「自分のC#コードをChatGPTに改善させるUnity Editor拡張」を書かせる実験

      (本記事ではChatGPT PlusでGPT-4を利用しています。） 作ったもの：https://twitter.com/CST_negi/status/1638198454131511296 (ツイートがなぜかnoteに埋め込みできなかったので動画自体はYoutubeに転載しておきました。) 自身のUnityプロジェクト内にあるC#コードをChatGPTにレビューさせ、そのコードのパフォーマンスを最適化してもらうものとなります。 そして今回の試みの1つとして、このE

      ねぎぽよし

      • 喋り出しを高速化したり現実の情報とリンクしてAIエージェントを進化させる

        ChatGPT APIが公開されてからいろんな人が自分のキャラクターとおしゃべりしたりAITuberが一歩先に進化したりと面白いものがたくさん見れてとても嬉しいです！ AI界隈の情報密度が高すぎて↓の記事を書いたのが2日前というのが信じられませんね。 さてChatGPT APIでみんなのキャラクターが知能を持って喋れるようになったわけですが、自分が作ったものを振り返ってみたらまだまだ改善の余地がいっぱいありそう+もうちょっとできることが増えてほしいなと思い、自分のAIエージ

        ねぎぽよし

        • ChatGPT APIをUnityから動かす。

          こんにちは。 先日AIエージェント開発の技術解説記事を書いて「今後ChatGPTライクのAPIが出てきた瞬間に進化すると思う」という話をしたのですが… まさか3日後にChatGPT APIが出てくるとは思いませんでした。 というわけで今回はUnityからChatGPT APIを叩く方法について書いてみます。 先日の記事で用いたGPT-3のTextCompletionAPIよりも(Langchainなどを使わず)カスタマイズ無しで実際のAI利用シーンに活用できそうな印象を

          ねぎぽよし

        OpenAIのgpt-4-vision-previewに画像を投げてどんなことをしてくれるのか試してみた

        ねぎぽよし

          GPT-3とVoiceVoxを活用してAIエージェントを作る！【Unity】

          何を作ったのか？やっていることのコアとなる要素を抜き出すと… ・自身の発話内容をテキストに変換する ・そのテキストをOpenAIのAPIに投げて、AI側の回答を取得する ・AIの回答テキストをVoiceVoxを用いて音声として出力する ・その音声を再生しつつ、それをベースにキャラクターに口パクをさせる となります。 環境はWindows11で、プログラミング自体はUnity/C#で完結しておりPythonなどを書く必要はありません。 ある程度Unityでプログラムを書いて

          ねぎぽよし

          GPT-3とVoiceVoxを活用してAIエージェントを作る！【Unity】

          ねぎぽよし