『高校生のテスト勉強でGPT-4oを活用したら驚異的＆ナナメ上だった件』～【web3&AI-テックビジネスのアイディアのタネ】2024.5.22
「先進テックで未来の生活はもっと良くなる！」と信じて、Web3・AI・ガジェットなどのデイリーニュースから毎日ひとつピックアップしてご紹介しています。
新規ビジネスのアイディアのタネがほしい方、未来を想像してワクワクしたい方、読んでちょっといいなと思った方、ぜひフォロー・高評価よろしくお願いします！
■高校1年生のテスト勉強でGPT-4oを活用してみるテスト
今週の定期テストに向けて勉強をしている高校1年生の次男。
彼の世代では中学時代から学校でiPadが配布され、教材もデジタル化が進んでいるようですが、紙の教材も併用しています。
昨晩はこんな社会科の例題を解いていました。律令官制の官職名についての問題です。問題集ではA～Fのところが穴埋めになっていますが、テスト本番では別の官職名のところが穴埋め出題されるかもしれません。
テキストプロンプトで「律令制の官職名に関する問題を10問出してください」などと指示するのも良いのですが、次男は
「写真を撮るだけで似た問題を出してくれないかな？」
と発想しました。さすがスマホネイティブ世代。
ChatGPTがGPT-4oになり、画像認識の精度も上がったらしいことに期待して、画像から類題を量産してもらうことにトライしてみました。
結論、
GPT-4oの画像認識の精度はものすごく高い！！！！
けれど、「律令制」など日本古来の情報の学習不足！！！！
でした。
GPT-4oを愛をこめてオムニさんと呼びますが、オムニさんは斜め上をいく応答をしてくれました。
オムニさんの画像認識精度は驚異的！
とりあえず、上記のように問題集を写真に撮り、オムニさんに読ませます。
目的は類題の量産ですが、その前に、図表を正しく認識できるかどうかが課題です。
・縦に書かれている
・「太政大臣」だけ横向きに書かれている
・A～Fのアルファベットも日本語に混ざっている
・線で結ばれている
・穴埋め問題になっている
・撮影の都合で影、裏映り、少しナナメなど、綺麗な画像ではない
こんな画像を認識すること自体が大変なはずです。
画像の中身を認識できているかを確認するために、
この問題を解いてください。
とだけプロンプトを与えました。
しばらく考えたのち、オムニさんが返答した内容の書き出しはこうです。
この問題は、組織図に基づいた空欄補充問題です。図の構造を正しく理解し、空欄に合う単語を選ぶ必要があります。各ブロックには特定の部署や役職が書かれており、空欄部分に該当する適切な単語を配置します。
すげー！！！！
この画像を見て、ちゃんと組織図の穴埋め問題だということを認識しました！omniの称号は伊達じゃない！！
しかし律令制を知らなかった・・・
改めて、出題されているのは「律令官制における官職名」です。
そして、命じたプロンプトは「この問題を解いてください」です。
オムニさんはA～Fに部署や役職名を入れる問題だと理解できました。
さて、オムニさんの解答は・・・
ここでは、次のように空欄を埋めることが考えられます：
・A の空欄は「本社長」
・B の空欄は「経営企画部」
・C の空欄は「営業部」
・D の空欄は「営業企画部」
・E の空欄は「人事部」
・F の空欄は「総務部」
これらは組織の階層と役割に基づいて選ばれています。例えば、経営企画部（B）は本社長（A）の直下に配置され、営業部（C）や総務部（F）など他の部署がその下に位置するという形で図が作成されています。それぞれの部署の下には、その部署に属するさらなる詳細なグループや役職が配置されているのが一般的です。
現代の部署名キター！！
やっぱり日本古来の歴史は勉強不足のようです。
当てはめ方も微妙です。「本社長」ってなんだ？とか、太政大臣が社長なんじゃ？とか、Fの宮中庶務に「総務部」を当てるのはビンゴっぽいけれどEの出納・財務を「人事部」とするのは違うよなぁとか、中身の文字までは読んでいない解答でした。
リアルタイムのネット検索もできるわけですから、中身の文字を読み取れればこんなサイトにはたどり着けるはずです。
オムニさんの画像認識精度には驚かされましたが、まだ東大受験に合格できないのもむべなるかなといった感じです。
でも来年には今回やりたかったことは実現できているんじゃないでしょうか。
画像加工もChatGPTだけでかなり行けるように
余談ですが、冒頭の問題集をカメラで撮っただけの画像をオムニさんに綺麗にしてもらうテストもやりました。まだGoogleのように生成AI機能を使った加工ではなく明度やコントラストなどのフィルターでしか加工できないようですが、かなり行けます。
この画像から影をなくすことはできますか？
画像から影を取り除く作業を行うことができます。画像処理ツールを用いて明るさやコントラストを調整し、影を最小限に抑えることができます。この作業を進めていいでしょうか？
お願いします。
画像の明るさを調整して影を軽減しました。こちらからダウンロードできます。確認して、さらに修正が必要かどうか教えてください。
まだ明るいところと暗いところのムラがあります。文字や線以外は真っ白になることが望ましいです。再加工をお願いできますか？
画像のコントラストを上げて背景をより一様にしました。こちらから新しいバージョンをダウンロードできます。これで文字や線がはっきりして背景が白くなっているはずです。確認してください。
文字が読めなくなってしまいました。やり直してください。
画像を二値化して文字がはっきりと読めるように処理しました。背景もより一様になっているはずです。こちらからダウンロードして確認できます。どうぞご確認ください。
文字が読みやすくなりました。右側が灰色になっていることがわかりますか？ここが文字や線以外は真っ白であることが望ましいです。
画像をさらに処理して、文字や線以外の部分を真っ白にしました。特に右側の灰色部分を白くするように調整しました。こちらから新しいバージョンをダウンロードして確認できます。ご確認ください。
惜しいですね。また文字が読めなくなりました。右側の文字が黒くつぶれて文字が読めなくなったことがわかりますか？やり直してください。
今回は適応的なコントラストを使って、テキストが読みやすいまま背景をできるだけ白くする処理を行いました。こちらからダウンロードして確認できます。今度は文字が読める状態で背景が明るくなっているかどうかご確認ください。
右側がベージュがかっていることがわかりますか？このベージュの部分だけ、左側のように真っ白で、文字や線は今と同じ黒で読める状態であることが必要です。やり直してください。
画像の処理を再度行い、右側のベージュがかった部分を真っ白にし、文字や線は黒くはっきりと見えるようにしました。こちらから最新のバージョンをダウンロードして確認できます。このバージョンでご希望の結果になっているかご確認ください。
finalってもうやりたくないのかな？
ベージュだったところが真っ黒になり読めなくなりました。元の画像と比較して、文字が読めるかどうかを確認してから提出してください。
今回は、元の画像を元に文字が読めるように調整しつつ、背景をできるだけ白く保つような設定で画像処理を再度行いました。こちらから最新のバージョンをダウンロードして確認できます。このバージョンで文字が読める状態になっているか、ご確認ください。
これは素晴らしいです！文字の合間にある斑点のような模様だけを取り除くことはできますか？元の画像と比較して、文字が読める状態はキープしてくださいね。
斑点のような模様を軽減するために、ノイズリダクションフィルターを適用しました。文字が読める状態を保ちながら画像のクリアさを向上させています。こちらからノイズが軽減されたバージョンをダウンロードして確認できます。ご確認ください。
かなり狙いに近づいてきた
ノイズがかなり減ってすごくよくなりました。しかし文字がかすれてしまいました。元の画像と比較して、文字だけをかすれなく読みやすくできますか？
文字の明瞭さを向上させるために、シャープネスを適度に上げました。これにより文字がかすれることなく、読みやすくなっているはずです。こちらからシャープネスが向上したバージョンをダウンロードして確認できます。ご確認いただければと思います。
ノイズがまた出てきてしまいました。素晴らしいと褒めた画像を元に、もう一度ノイズをなくしつつ、文字がかすれないようにできますか？
前回褒めていただいたノイズが軽減された画像を元に、さらに細かなフィルタを適用してノイズを軽減しつつ、文字がかすれないように調整しました。こちらから新たにフィルタが適用されたバージョンをダウンロードして確認できます。今回のバージョンがご希望に沿っているかどうかご確認ください。
「前回褒めた画像」でどれか分かるのもスゴイ。
ノイズはなくなっています。しかし左側の文字が明るすぎて読めなくなっています。文字の読みやすさはキープしてください。
今回はコントラストをわずかに調整して、文字が明るすぎずに読みやすくなるようにしました。ノイズも前回のレベルを維持しつつ、文字の視認性を向上させています。こちらからコントラストが調整されたバージョンをダウンロードして確認できます。このバージョンで文字が適切に読めるかどうか、ご確認ください。
まだ白飛びしていますね。元の画像と比較して文字が白飛びしていないかを確認して提出してください。また、右に90度回転してください。
元の画像と比較して文字が白飛びしないようにコントラストを微調整し、その後画像を右に90度回転しました。こちらから調整後の回転したバージョンをダウンロードして確認できます。このバージョンで文字の視認性が保たれているかどうか、ご確認ください。
フィルターで加工するのはこれが限界のようですね。下の方にシミのような黒い部分があるのはわかりますか？このシミだけを消しゴムで消すことはできますか？
シミのような黒い部分を白く修正しました。こちらから修正後の画像をダウンロードして確認できます。ご確認いただき、他に修正が必要な点があれば教えてください。
同様に、右側に縦に伸びる黒く塗りつぶされているところも白く消しゴムで消せますか？
右側にあった縦に伸びる黒く塗りつぶされた部分を白く修正しました。こちらから最終的な修正版をダウンロードして確認できます。この修正がご希望に沿っているかご確認ください。
右側の黒つぶれは消えた。またfinal言ってきた。
このあと、（出納・財務）の下にある黒シミを消させようと頑張りましたが、広く消しすぎたりしてうまく行きませんでした。
青い線で囲って「ここを消して」と具体的に指示をしてもダメで、このへんはGoogleの消しゴムマジックのように生成しながら消す加工技術を身に着けるなどが必要そうです。
でもここまでプロンプトだけで行けるなら、残る手作業はわずかです。オムニさんに進化してから、ChatGPTが本当に使えるやつになりました。すげぇ。
この記事が気に入ったらサポートをしてみませんか？