見出し画像

ChatGPT 4-o desktop app for MACスクリーンショット機能を体験まだ動画には対応していない。

Kawamura Akihiro

機能は完全ではありませんが、
スクリーンショットで撮る→app window
と進めば目や口で応答する機能を試す事ができます。
まだ動画には対応していない。

Desktop window か app windowの選択ができる。

「App Window」機能におけるAI機能について説明します。

  1. 数式の解決:

    • スクリーンショットに含まれる数式や数学の問題を自動的に認識し、解答を提供することができます。これはOCR（Optical Character Recognition）技術を使用して数式を読み取り、内蔵された数学エンジンで計算を行います。

  2. テキスト認識と翻訳:

    • スクリーンショット内のテキストを認識し、リアルタイムで翻訳することができます。多言語対応しており、テキストを選択して即座に翻訳結果を表示します。

  3. 画像の認識と説明:

    • スクリーンショットに含まれる画像を認識し、その内容を説明することができます。例えば、建物の写真からその建物がどの大学のものかを判断したり、有名なランドマークの名前を特定することができます。

  4. オブジェクトの識別:

    • スクリーンショット内のオブジェクトを識別し、それぞれに対して情報を提供することができます。例えば、特定の製品やブランドを認識し、その詳細情報を表示します。

  5. コンテキストベースのアシスタンス:

    • スクリーンショットの内容に基づいて、関連する情報やアクションを提案します。例えば、特定のウェブサイトのスクリーンショットを撮ると、そのサイトに関連する情報やリンクを提供することができます。

  6. 画像キャプション生成:

    • スクリーンショット内の画像に対して自動的にキャプションを生成し、画像の内容を簡潔に説明します。

機能の２．３．４をテストしました。あるパワーポイントのスライドを見せています。
音声で応答しています。

ME:あなたが見えているかのテストです。私はなにをしていますか？
あなたは、AIに関するプレゼンテーションを準備していますね。スライドには、名古屋大学での研究、スズキでの技術調査、半導体AIの調査研究に関する経歴が記載されています。また、AI革命とAGI（人工汎用知能）に関するテーマも含まれています。頑張ってください！

ME:２番目の写真はどこの大学ですか
２番目の写真は、中国の北京にある清華大学（Tsinghua University）です。

ME:どうして清華大学とわかりましたか
写真の右上にあるウェブサイトのスクリーンショットに「清華大学」という表示が見えるからです。また、建物の外観とキャンパスの様子も清華大学に似ています。

ME:正解です。それでは、大学で講義しているとき、私は何を着ていましたか?
大学で講義しているとき、あなたは黒いスーツを着ていて、白いシャツにネクタイを締めていました。

ME:そうです。それで黒板には何と書いてありましたか
黒板には「Thank you」と書いてありました。

ME:清華大学には他に何が写っていますか?
清華大学の写真には、赤いフラッグが映っています。フラッグには、清華大学のロゴと中国の国旗がデザインされています

この記事が気に入ったらサポートをしてみませんか？