ChatGPT-4 (GPT-4 All Tools)は、会話だけで画像生成やブラウジング、プログラム実行ができる！
ついに以前より一部の人に開放されていたGPT-4 All Toolsと呼ばれていたものが、ChatGPT-4として使えるようになりました！
そしてついこないだ公式発表があったGPTsも使えるようになっていました！
画面はこのように変化しています。
GPTsについては別記事にいたします！
上部のGPT-3.5とGPT-4のボタン・インターフェースから、ChatGPT 4とChatGPT 3.5のドロップダウンリストに変化しており、開くとGPT-4 with DALL-E, browsing and analysisという表記に変わっております！
GPT-4 All Toolsは、公式アナウンスではなく一部のユーザが利用できるようになり始めていたもので、10月末頃からニュースを賑わしていました。
余談ですが、いつも新機能が実装された時、自分のアカウントで使えるようになるまで時間がかかってたんですよね。結構早くから使ってるし、API利用料金もだいぶ使ってるのになーなんて思ってたんですが、そんな時にふと思い出したんです。メインで使ってるアカウント、2個目のアカウントじゃね？
ものの試しに1個目のアカウントにログインして、ChatGPT Plusに課金してみたら、ものの見事にChatGPT 4とGPTsが有効化されてたんですよね。
こんなことなら1つ目のアカウントだけ使っておけばよかった😂
さっそく試して行ってみよう。
ChatGPT 4 (GPT-4 All Tools)とは？
まずは使いながら聞いて行ってみよう。
ChatGPTで一部の人に開放されていたGPT-4 All Toolsと呼ばれていたものが、正式名称ChatGPT-4として使えるようになりました。
どんな特徴なのか教えてください。
ChatGPT-4として公開されているツールは、GPT-4モデルに基づく強化されたバージョンのChatGPTです。その主な特徴は以下の通りです：
1. **多言語対応：** GPT-4は多言語対応が強化されており、さまざまな言語での対話やテキスト生成が可能です。
2. **マルチモーダル機能：** GPT-4はテキストの理解と生成だけでなく、画像の入力も理解し、それに基づいた応答ができるようになっています。
3. **拡張されたコンテキスト理解：** GPT-4はより長いテキストのコンテキストを保持し、関連性のある応答を生成する能力が向上しています。
4. **改善されたファインチューニング：** トレーニングの過程で、より微細なユーザーフィードバックを取り入れることで、より正確で精度の高い応答を目指しています。
5. **APIとツールの統合：** 画像生成API（DALL·E）、ファイルブラウザ、コード実行環境など、さまざまなツールとの統合により、ユーザーはより幅広いタスクを実行できるようになっています。
6. **コード実行環境：** Pythonコードの実行が可能な環境を提供し、実際のコードを試したり、データ分析を行うことができます。
7. **改善された安全性とポリシー遵守：** より安全で倫理的なガイドラインに従い、ユーザーにサービスを提供することを目指しています。
これらの特徴を通じて、ChatGPT-4はさまざまな用途に対応し、より高度な自然言語処理タスクを実行できるように設計されています。
(ChatGPT-4じゃなくてChatGPT 4だった。。。)
おお、いいですね！
それぞれはすでに実現していたことですが、1つの会話ですべてが使えるようになったのがメリットのはずなので、続けて聞いてみましょう。
今まで画像生成や画像理解、ブラウジング、コード実行環境などがそれぞれ単体で利用できていました。それが同一のスレッド内で会話できるようになったことで、新たにどんな事ができるようになりましたか？
同一のスレッド内で会話をしながら画像生成、画像理解、ブラウジング、コード実行環境を利用できるようになったことで、以下のような新たな利用シナリオが実現可能になりました：
1. **統合されたワークフロー：** 画像生成のリクエストを行い、生成された画像に基づいてさらに情報を検索したり、その画像を解析するコードを書いたりするなど、複数の機能をシームレスに連携させることができます。
2. **リアルタイムの情報収集と処理：** ブラウジング機能を使用して最新の情報を収集し、その情報を基にPythonコードを書いて分析を行い、さらにその結果を基に画像を生成するなど、情報の収集から処理、視覚化までを一貫して行うことができます。
3. **インタラクティブな学習環境：** ユーザーが理解を深めたいコンセプトについて質問し、その回答をテキストで受け取りながら、関連するコード例を実行して結果を確認したり、必要な画像を生成したりすることができます。
4. **高度なクリエイティブ作業：** 文章を書きながら、その内容に基づいたイラストをリクエストし、生成された画像にフィードバックを与えてさらに改善するなど、クリエイティブな作業を効率的に進めることができます。
5. **対話式プログラミング：** コードの問題点を相談しながらリアルタイムでデバッグを行ったり、新しいプログラムのアイデアを検討したりするなど、対話を通じてプログラミング作業を進めることができます。
これらの機能を組み合わせることで、ユーザーはより複雑で多層的な問題を解決できるようになり、創造的かつ効率的な方法でタスクを遂行することが可能になります。
例示も素晴らしい！
生成した画像を解析するコードを実行する
早速その性能を試してみましょう。
試しに1の統合されたワークフローを試してみましょう。
3次元空間内に1つの小星型十二面体の3次元オブジェクトにいくつか長さが与えられている画像を生成します。その生成された画像に基づいて情報を検索し、その小星型十二面体の体積を計算するコードを書いて実行してください。
マニアックなのは苦手よね。
画像が生成されました。次に、この小星型十二面体の体積を計算するために必要な情報を検索し、Pythonコードを書いて実行します。
小星型十二面体の体積を計算するには、基本となる立体（この場合は十二面体）の辺の長さが必要です。生成された画像にはいくつかの長さが示されていますが、これを直接使用することはできません。なぜなら、小星型十二面体の体積を求める公式は、正十二面体の辺の長さに依存するからです。
小星型十二面体の体積の計算公式は次のように与えられます：
\[ V = \frac{3 + \sqrt{5}}{2} a^3 \]
ここで \( a \) は正十二面体の辺の長さです。実際の辺の長さを画像から抽出することはできませんので、仮定として辺の長さを1として計算を進めます。
Pythonでこの計算を行ってみましょう。
小星型十二面体の体積は、辺の長さを1と仮定した場合、約2.618立方単位です。実際の辺の長さが分かれば、同じ公式を使って正確な体積を求めることができます。
残念ながら画像生成を含むリンクシェアは相変わらずできないようだ。。。
素晴らしい！
画像の生成とコードの実行が同時に行われている！
ちょっとわかりにくいんですが、生成された文章の最後に[>_]のようなアイコンが表示されています。これをマウスオーバーするとView analysysと表示され、クリックするとソースコードが見れるようです。
from math import sqrt
# 辺の長さを1と仮定して体積を計算する
a = 1
V = ((3 + sqrt(5)) / 2) * a**3
V
Result
2.618033988749895
リアルタイム情報収集と分析処理の視覚化
今度は2のリアルタイムの情報収集と処理をやってみよう。
新しいGPT-4が学習している内容は2023年4月までとのこと。なので、それ以降の情報はまだ学習していないことになります。それが反映されるような情報分析を試してもらいましょうか。
令和5年最新のオープンデータ取組済自治体一覧を検索し、取り組み済みの市区町村が年ごとにどう推移しているかを分析し、折れ線グラフにしてください。
サクッとはいかなかったので何度かやり取りを繰り返した。
そして最終的にはこうなった。
了解しました。追加日が含まれていないデータを2018年12月として扱い、追加年月ごとの自治体数の累積推移を分析し直して折れ線グラフにします。この分析を行い、累積の自治体数の推移が分かるグラフを作成します。
新しい分析を行い、追加年月ごとの市区町村の累積数の推移を示す折れ線グラフを作成しました。このグラフは2018年8月から2023年6月までの期間のデータを基にしており、各月の終わりにおける累積自治体数を示しています。特に2018年12月から2023年にかけての全体的な増加傾向が確認できます。もし更なるデータの分析や追加情報が必要であれば、ご指示ください。
素晴らしい！
さて、これが合ってるかどうかなんだが、デジ庁のデータ公開ページに検証できそうな資料もあったので載せておく。
地方公共団体におけるオープンデータの取組状況 （PPTX/219KB）（令和5年6月30日時点）
バッチリじゃねぇか。。。
せっかくだからコメントもしてもらおう。
作成したグラフの画像から推測できることを、できるだけ多くのことを、できるだけ詳しく、教えてください。
作成したグラフから読み取れる情報は以下の通りです：
- 2018年12月を起点にして、自治体の累積数は一貫して増加しています。
- 2019年初めから2020年中頃まで、比較的穏やかな増加傾向が見られます。
- 2020年中頃から2021年初めにかけて、増加のペースが加速しています。
- 2021年を通して増加数が多いことがわかりますが、2022年に入るとその増加ペースは鈍化し、ほぼ横ばいになっています。
- 2023年に入ると再び増加ペースが上昇していることが示されています。
これらの推移は、オープンデータへの取り組みが各自治体で進んでいることを示唆しており、特定の期間に取り組みが活発になっている時期があることを示しています。また、一時期の停滞や加速が政策の変更、社会的な動向、または他の要因によるものかもしれません。これを確かめるには、関連する出来事や政策の変更について更に情報を収集する必要があります。
この仕事はもうChatGPT 4に任せたほうが良いな。。。
iOS版ChatGPT 4で音声だけで画像生成
マルチモーダルと言えば、モバイル版では音声で話しかけると音声で答えてくれた。こちらは画像生成やブラウジングはできるのだろうか？
何はともあれやってみる。
ロゴを作成したいです。どんなロゴかというと、 家紋のような丸いロゴを作りたいです。 どんなイメージかというと、伝統的な技術と 最新の技術を複合させたようなロゴです。 モチーフにしたいものは歯車、ICチップ、Wi-Fiです。 画像、ロゴを作ってください。
Here's the logo that combines both traditional and modern elements with gears, an IC chip, and Wi-Fi signals integrated into a design that resembles a family crest. What do you think?
つ……作れる！！
画像生成が行けるということは、コードの実行まで行けるのか！？
2番目の画像を分析して、Pythonコードで画像分析をして、何の色が使われているかピックアップしてください。
The image contains a variety of colors, but the most common ones are shades of black, gray, and white. The exact color values are in RGB format, which means they're combinations of red, green, and blue light. The most common color in this image is a dark tone, followed by very light gray tones that likely make up the background and design elements. Would you like to know the exact RGB values of some specific colors?
じ……実行できる！！
RGB値は取れなかったけどアンジービーチ色をRGB値を使っているか確認しているwww
そうだ、ブラウジングは？？
似たような画像がないか検索をしてください。
I found a vector image that may resemble what you're looking for. It's a round logo featuring a chip connection, which could align with the idea of a logo incorporating technology themes like gears and IC chips. You can view and assess if it matches your requirements at VectorStock through this link: [Round logo chip connection Royalty Free Vector Image](40). If you need more options or different styles, please let me know, and I can continue the search.
け……検索できる！！
これは最高以外の何物でもないな。。。
しかし画像は表示してくれなかった。
うまいやり方があるかもしれないけど。
まとめ
ChatGPTがGPT-4で本当の意味でのマルチモーダル化が実現できたと言えるのではないでしょうか。
もうプログラミングも画像生成もブラウジングも、特別なスキルは必要ないんです。会話ができれば良いんです。
実際に試してみると、想像している以上に凄さを実感しますわ。。。
もう、目が見えなくてもプログラムを実行できるんだな。。。
今年の頭にこんな事やってたんだけどなぁ。。。
さあ、非エンジニアの皆さま。
あなた達の出番ですよ。
何を作りますか？
この記事が気に入ったらサポートをしてみませんか？