ChatGPTの新機能Model: Code Interpreter画像処理の実力検査
本日朝、Model: Code Interpreterが実装されましたので早速その実力を試していきたいと思います。使い方は超簡単。チャット欄の左の＋ボタンをクリックしてファイルをアップロードするだけ。
ご本人による解説はこちら。
ChatGPTによる使い方解説
データ分析: あなたがCSVやExcelなどのデータファイルをアップロードすれば、ChatGPTはそのデータを読んで分析を行うことができます。例えば、データの統計的な概要、データのセキュリティ化（棒グラフ、ヒストグラム、散布）図など）、データ前処理（欠損値の補完、異常値の検出と修正など）、単純な機械学習モデルの適用などが可能です。
画像処理: あなたが画像ファイルをアップロードすれば、ChatGPT はその画像を読みながら処理を行うことができます。例えば、画像のリサイズ、色空間の変換、フィルタリング、エッジ検出などが可能です。
コードの編集やデバッグ: あなたがPythonコードをアップロードすれば、ChatGPTはそのコードを読んで編集やデバッグを行うことができます。例えば、構文エラーやランタイムエラーの修正、コードのリファクタリング、新たな機能の追加などが可能です。
数学的な計算: 複雑な数学的な計算もChatGPTに質問できます。例えば、微積分の問題（微分、積分）、線形代数の問題（行列の演算、固有値と固有値の計算）、統計の問題（平均、分散、標準偏差の計算）、確率の問題（分布、期待値、分散の計算）などが可能です。
注意点として、先にでは、ファイルは一つのセッション中だけ保持され、セッションが終了するとファイルが消えてしまいます。また、この環境ではインターネットにアクセスできないため、外部のAPIにアクセスしたり、ウェブスクレイピングを行うことはできません。
筆者はフロントエンドエンジニア件フトントエンドデザイナーでもあるので、まず、画像処理能力検査を行います。
画像のリサイズ
元画像は1:1です。確かに16:9にはなっているのですが、透明な部分が追加されました。透明な部分がわかりやすい様にphotshop画面をスクショしてここに上げます。市松模様の部分が透明な部分です。
下記の様なやり取りを経て、
「では、#e4e7e5で埋めてください。」の指示出しには見事に対応してくれました。
背景色を変える指示は難しい
筆者問：RGBカラー#e4e6e4から#e4e7e5あたりの近似色を全て#e2adc0に変更してください。
としたら「RGBカラー#e4e6e4から#e4e7e5あたり」を正にRGBカラー#e4e6e4と#e4e7e5だけ透明にする処理をしてしまった。処理後の画像がこちら。
つまり拡大してみたら、#e4e6e4と#e4e7e5だけ#e2adc0に変更してある。指示には忠実だ。命令通りに動き、ニュアンスとかは通じない。
「背景を透明にしてください」から始めると
筆者問：では、1から戻ってオリジナル画像の背景部分をサイズはそのままで透明にしてください。透明にする部分は #e4e6e4 から #e4e7e5 あたりの色域の部分です。
この質問に出して来た画像はこれ。なんか砂目になってない？
と思って下に緑色のレイヤーを作って見て透けるのかどうかやってみた。
すると、見事に半透け。つまり、「透明にする部分は #e4e6e4 から #e4e7e5 あたりの色域の部分」みたいなファジーな命令は「透明にする部分は #e4e6e4 と#e4e7e5の色域」になってしまったらしい。下の緑色のレイヤーを表示させると、抜かれた#e4e6e4 と#e4e7e5の色域の部分から緑の部分が見えて薄緑色の背景に見える。
まあ、これはこれで何かに使えるかも。
どうすれは「背景抜き」が実現するのか？
筆者問：私がまず見本をしめします。元画像をこの画像（人物の背景を透明にした）にするにはどういうプロンプトをあなたに与えればいいですか？
すると、GPT-4のModel: Code Interpreterはこう答えた。
あなたが提供した画像を見ると、元の画像から背景が取り除かれているようです。これは一般的に「背景除去」または「背景を透明にする」と呼ばれるタスクです。ただし、このタスクは通常、色範囲を指定するのではなく、背景と前景（つまり、保持したい主要なオブジェクト）を区別するアルゴリズムを使用します。
したがって、このタスクを達成するためのプロンプトは以下のようになります：
「元の画像から背景を取り除き、背景を透明にしてください。」
ただし、私の現在の機能では、背景除去を完全に自動で行うことは難しいです。色範囲を指定して背景を透明にすることは可能ですが、それは完全な背景除去とは異なります。また、背景と前景を完全に区別することは、一部の複雑な画像では困難であり、完全に正確な結果を保証することはできません。
私の能力を超える場合、専門的な画像編集ソフトウェア（例：Adobe Photoshop）または専門的な背景除去サービスを利用することをお勧めします。
これで大体GPT-4のModel: Code Interpreter単独でできる作業が見えて来た。
「ありがとうございます。あなたの画像処理の守備範囲を試してみたかったのです。でも気軽にwebpや、リサイズや解像度を上げたりできるんだという事がわかりました！」とお礼をいっておいた。
Model: Code Interpreter画像処理使い方例
今回のこのやり取りのURLを貼っておきますので、ご参考にしてください。
この記事が気に入ったらサポートをしてみませんか？