マガジンのカバー画像

AI

45
運営しているクリエイター

2023年4月の記事一覧

GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた

GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた

GPTとはGPTとはGenerative Pretrained Transformerの略であり、Transformerをベースにした事前学習生成モデルのことです。

昨今のAIの進化は2017年に登場したTransformerをベースにしており、話題のGPTもご多分に漏れずTransformerベースなんです。

Transformerは「Attention層という層だけを使う」という、当時とし

もっとみる
創造性を高めるために、対話型AIをどう使えるか 認知科学のモデルから考える

創造性を高めるために、対話型AIをどう使えるか 認知科学のモデルから考える

米国のベンチャー企業、OpenAIが開発したChatGPTが、引き続き話題となっている。G7広島サミットでも、AIに関する国際ルールが議論される見通しだ。

ChatGPTのような対話型AIについては、機密情報の漏洩や誤情報の拡散などの課題も指摘されている。その一方で、こうしたAI人間の創造的活動に活かしていくことはできるだろうか。例えば、マイクロソフトはMicrosoft365に対話型AIを組み

もっとみる
RLHF (人間のフィードバックからの強化学習) の図解

RLHF (人間のフィードバックからの強化学習) の図解

以下の記事が面白かったので、軽く要約しました。

1. はじめに言語モデルは、人間の入力プロンプトから多様で説得力のあるテキストを生成することで、ここ数年、目覚ましい成果をあげています。しかし、「良い」テキストかどうかは、主観的で文脈に依存するため、定義することが困難です。

「良い」テキストを生成するための損失関数の設計は難しく、ほとんどの言語モデルは、まだ単純な次のトークン予測損失(クロスエン

もっとみる
AIの透明性に関する考察・提案とChatGPT

AIの透明性に関する考察・提案とChatGPT

ChatGPTなど生成AIの勃興もあり、AIのガバナンスや倫理的・法的な問題が盛んに議論されています。そのような中で、昨年度、東京大学公共政策大学院の社会人プログラムにおいて、AIの透明性に関する議論を整理し、一つの提案をまとめることができました。今回は、その概要を整理し、ChatGPTに関しても考察を加えてみます。
(論考の日本語本文はこちら・英語はこちら)

3行まとめ「AIアルゴリズムの透明

もっとみる
OpenAI APIのファインチューニングの学習データのガイドライン

OpenAI APIのファインチューニングの学習データのガイドライン

以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。

1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力 「コンプリーション」 のペアで構成される学習データが必要です。これは、1回のプロンプトで詳細な手順や複数の例を入力するような、ベースモデルの使用方法とは大きく異なります。

「学習データの書式

もっとみる
最近、よく見かけるAuto-GPTを使ってみた

最近、よく見かけるAuto-GPTを使ってみた

ここ数日、Auto-GPTに関して目にする機会がありましたので、試してみたくてワクワクしていました。平日だとまとまった時間が取れないので、休日は良いですね。

Auto-GPTは、GPT-4やGPT-3.5-turboを利用したオープンソースのアプリケーションです。AIに役割と目的を与えて、目的を達成するまで自動的にコードを生成実行します。内部的には、gpt-4やgpt-3.5-turboを使って

もっとみる
Google Colab で LangChain + RWKV を試す

Google Colab で LangChain + RWKV を試す

「Google Colab」で「LangChain + RWKV」を試したので、まとめました。

前回1. LangChain + RWKV「LangChain」は「GPT-4」「GPT-3.5」だけでなく、様々な言語モデルをLLMとして利用できます。しかし「GPT-4」「GPT-3.5」以外で、「LangChain」のエージェント機能を制御できるほどの能力を持つ「LLM」は、まだありません。

もっとみる
LLM のデータセットまとめ

LLM のデータセットまとめ

LLMのデータセットをまとめました。

1. 事前学習データセット1-1. Text

1-2. Code

2. SFTデータセット2-1. Instruction

2-2. Code Instruction

2-3. Chat

3. Preferenceデータセット4. タスク別データセット4-1. マルチモーダル

4-2. キャラクター対話

4-3. AITuber特化型質問応答

もっとみる
【必見!!】中国🇨🇳VSアメリカ🇺🇸の生成系AIバトルの全容を徹底解剖‼️《主要企業10社を解説》

【必見!!】中国🇨🇳VSアメリカ🇺🇸の生成系AIバトルの全容を徹底解剖‼️《主要企業10社を解説》

数年にわたり、GoogleやMetaなどを筆頭に多くの企業が、生成AI技術の開発に取り組んできましたが、これまでの技術は一般にはあまり普及していませんでした。(主に開発者向けでした。)

しかしながら、その沈黙を破った存在が現れました。

それが、OpenAIのChatGPTです。

OpenAIが2021年11月にChatGPTを立ち上げることで、初めて誰もがアクセスできるようになりました。それ

もっとみる

AGIによる破滅:致命的なリスト

去年6月にAI Alignment Forunmに投稿されたEliezer Yudkowsky氏による以下の記事を和訳した。適宜わかりにくいかもしれない箇所は※で補足を試みた。

Eliezer Yudkowsky氏はAI Alignment問題(主に、AGIが人間の利益に沿った目標ではなく、意図しない、望ましくない目標の追求を学習するという懸念)が一般に認識される前からAGIによる人類への壊滅的

もっとみる
ChatGPTで「ポケモン・バトル」

ChatGPTで「ポケモン・バトル」

この記事&プロンプトは全て無料で読めてコピペできます。
Prompt is free and you can just copy and paste on your ChatGPT

こんにちは、Experience Designer/Prompt Designerのしょーてぃーです。

🔥ChatGPTとプラグインなしで「ポケモン・バトル」ができるようになったので、プロンプトをおいておきます。

もっとみる
ビジネスパーソンのためのChatGPT道場-基礎編-

ビジネスパーソンのためのChatGPT道場-基礎編-

ChatGPTを仕事で活用するためのビジネスパーソン向け無料教材「ChatGPT道場」を公開します。法人内でのChatGPT導入時の研修資料や独学用の教材として是非ご利用ください。本記事『基礎編』に続き、より実務に合わせた『応用編』なども予定しています。

ChatGPT道場とは?ChatGPT道場は、誰もが簡単にChatGPTを業務利用できるようになるための完全無料のレクチャーコンテンツです。課

もっとみる