ねぎぽよし

Luppet™(ラペット)を作っています。 株式会社ラペットテクノロジーズ CEO …

ねぎぽよし

Luppet™(ラペット)を作っています。 株式会社ラペットテクノロジーズ CEO キャラクター関連の技術開発(AR・VR)が好きなエンジニア兼経営者です。初音ミクさんが好き。

OpenAIのgpt-4-vision-previewに画像を投げてどんなことをしてくれるのか試してみた

今朝のOpenAI DevDaysで発表されましたが、遂に待望のマルチモーダルAPIが開放されましたね！ 個人的にはこれ(↓)ができそうで大変ワクワクしています。 gpt-4-vision-p…

ねぎぽよし
ねぎぽよし
6か月前
112

【Unity】ChatGPTに「自分のC#コードをChatGPTに改善させるUnity Editor拡張」を書かせる実験

(本記事ではChatGPT PlusでGPT-4を利用しています。） 作ったもの：https://twitter.com/CST_negi/status/1638198454131511296 (ツイートがなぜかnoteに埋め込みできなか…

ねぎぽよし
ねぎぽよし
1年前
15

喋り出しを高速化したり現実の情報とリンクしてAIエージェントを進化させる

ChatGPT APIが公開されてからいろんな人が自分のキャラクターとおしゃべりしたりAITuberが一歩先に進化したりと面白いものがたくさん見れてとても嬉しいです！ AI界隈の情…

ねぎぽよし
ねぎぽよし
1年前
69

ChatGPT APIをUnityから動かす。

こんにちは。 先日AIエージェント開発の技術解説記事を書いて「今後ChatGPTライクのAPIが出てきた瞬間に進化すると思う」という話をしたのですが… まさか3日後にChatGPT …

ねぎぽよし
ねぎぽよし
1年前
294

GPT-3とVoiceVoxを活用してAIエージェントを作る！【Unity】

何を作ったのか？やっていることのコアとなる要素を抜き出すと… ・自身の発話内容をテキストに変換する ・そのテキストをOpenAIのAPIに投げて、AI側の回答を取得する ・AI…

ねぎぽよし
ねぎぽよし
1年前
245
ねぎぽよし

ねぎぽよし

OpenAIのgpt-4-vision-previewに画像を投げてどんなことをしてくれるのか試してみた



今朝のOpenAI DevDaysで発表されましたが、遂に待望のマルチモーダルAPIが開放されましたね！
個人的にはこれ(↓)ができそうで大変ワクワクしています。

gpt-4-vision-previewについて知る

捉え方としては「GPT-4が視覚を持つようになったもの」なのでテキストタスクも引き続きGPT-4と同等の精度で扱える

URLでもBase64エンコードした画像のどちらでもO

もっとみる
ねぎぽよし

ねぎぽよし

【Unity】ChatGPTに「自分のC#コードをChatGPTに改善させるUnity Editor拡張」を書かせる実験

【Unity】ChatGPTに「自分のC#コードをChatGPTに改善させるUnity Editor拡張」を書かせる実験

(本記事ではChatGPT PlusでGPT-4を利用しています。）

作ったもの：https://twitter.com/CST_negi/status/1638198454131511296

(ツイートがなぜかnoteに埋め込みできなかったので動画自体はYoutubeに転載しておきました。)

自身のUnityプロジェクト内にあるC#コードをChatGPTにレビューさせ、そのコードのパフォー

もっとみる
ねぎぽよし

ねぎぽよし

喋り出しを高速化したり現実の情報とリンクしてAIエージェントを進化させる

喋り出しを高速化したり現実の情報とリンクしてAIエージェントを進化させる

ChatGPT APIが公開されてからいろんな人が自分のキャラクターとおしゃべりしたりAITuberが一歩先に進化したりと面白いものがたくさん見れてとても嬉しいです！
AI界隈の情報密度が高すぎて↓の記事を書いたのが2日前というのが信じられませんね。

さてChatGPT APIでみんなのキャラクターが知能を持って喋れるようになったわけですが、自分が作ったものを振り返ってみたらまだまだ改善の余地が

もっとみる
ねぎぽよし

ねぎぽよし

ChatGPT APIをUnityから動かす。

ChatGPT APIをUnityから動かす。

こんにちは。
先日AIエージェント開発の技術解説記事を書いて「今後ChatGPTライクのAPIが出てきた瞬間に進化すると思う」という話をしたのですが…

まさか3日後にChatGPT APIが出てくるとは思いませんでした。

というわけで今回はUnityからChatGPT APIを叩く方法について書いてみます。

先日の記事で用いたGPT-3のTextCompletionAPIよりも(Langch

もっとみる
ねぎぽよし

ねぎぽよし

GPT-3とVoiceVoxを活用してAIエージェントを作る！【Unity】

GPT-3とVoiceVoxを活用してAIエージェントを作る！【Unity】

何を作ったのか？やっていることのコアとなる要素を抜き出すと…
・自身の発話内容をテキストに変換する
・そのテキストをOpenAIのAPIに投げて、AI側の回答を取得する
・AIの回答テキストをVoiceVoxを用いて音声として出力する
・その音声を再生しつつ、それをベースにキャラクターに口パクをさせる
となります。

環境はWindows11で、プログラミング自体はUnity/C#で完結しておりP

もっとみる