写真を使った英会話レッスンをGPT-4Vと一緒にやってみた
英会話レッスンにおける難問
ここ数年、とにかく日常英会話のスキルを伸ばしたいとずっと思っているのですが、一向に上達しません。オンラインで英会話レッスンも定期的に受講していますが、英語で話す、という度胸はついても、間違いの少ない英語を話すようにはならないし、むしろ、適当に単語をつなげると、なんとか相手に言いたいことは伝わるという無駄な自信がついてしまいました。
英会話レッスンの指示に、間違った英語を話したら随時訂正してほしいとお願いしていても、話の流れを重視され、たいていはスルーされちゃいます。
また、英会話レッスンにおける難問の一つに、今日は何を話そう、というトピックの問題があります。これはChatGPTで音声でやり取りをできるようになったから、ChatGPTとも話し放題！と喜んでいても同様に付きまとう難問です。
ChatGPTを有料のサブスク契約した当初は嬉しくて、ChatGPTと英語でいろいろやりとりしましたが、そのうち、トピックは尽きてしまいました。
このトピックが尽きてしまう問題
英会話レッスンを受講してもブロークンな英語は治らない問題
英語表現が増えない問題
これらをChatGPTを使ってなんとか解消できないか、と思っていた時に、ふと、思いついたのが、写真描写です。
ChatGPTと一緒に写真描写
GPT-4Vは画像を認識してくれます。自分が写真描写した英文を添削してもらう、というやり方は先日、noteで紹介しました。
写真描写したい写真をGPT-4Vに送って、これから自分の英文を送るから、それをうまく仕上げてほしいと依頼します。ついでに、写真描写のワークフローも教えてもらいました。全体を見て、メイン対象物を説明して、感情や色、時間、気温などを描写して、最後にまとめをいう、というフローチャートも教えてもらいました。
その手順に則って、ステップバイステップでも解説してくれるChatGPTは、とてもよい家庭教師です。
それだけじゃ物足りない！君ならできる
最初のうちは、写真を送って、写真描写して、いい感じに仕上げてもらって満足していました。しかし、だんだん、物足りなくなってきました。ChatGPTはもっとうまいやり方を知っているはずだ！とばかりに、こちらから、写真描写のレッスンのやり方を提示するのではなく、ChatGPTにレッスンのやり方を提案してもらいました。
使用したプロンプトはこちら。
I want you to become my tutor to improve my English. I will provide some images and want you to guide me to describe them in English. Do you suggest a lesson plan?
すると、ChatGPTはレッスンプランを提案してくれました。
Describing images is a great way to practice vocabulary, grammar, and storytelling skills. Here's a lesson plan we could follow:
Lesson Plan for Image Description in English
Week 1: Basics
Objective: Learn basic vocabulary for describing pictures (e.g., color, shape, orientation).
Task: Describe simple images, such as fruit or single objects.
Week 2: People and Emotions
Objective: Introduce vocabulary related to emotions, expressions, and human characteristics.
Task: Describe photos of people showing various emotions.
Week 3: Actions
Objective: Learn action verbs and how to use them in sentences.
Task: Describe photos that showcase people or animals doing specific actions.
Week 4: Places and Environments
Objective: Expand vocabulary related to places, buildings, and natural environments.
Task: Describe images of landscapes, cityscapes, and interiors.
Week 5: Advanced Vocabulary and Concepts
Objective: Introduce more complex vocabulary like abstract nouns and specialized terms.
Task: Describe complex images, such as artwork or technical diagrams.
Week 6: Storytelling
Objective: Learn how to create a narrative around an image.
Task: Describe an image in such a way that it tells a story.
Week 7: Adjectives and Adverbs
Objective: Learn how to use adjectives and adverbs to add detail to your descriptions.
Task: Revisit previous images and describe them using newly learned adjectives and adverbs.
Week 8: Review and Integration
Objective: Combine all the learned skills to describe complex images or sequences of images.
Task: Describe a sequence of images to tell a detailed story.
Each week, you can provide a few images related to the topic of the week, and I'll guide you through the process of describing them. We can also include additional vocabulary exercises, if you're interested.
いきなり、写真描写にはいるわけではなく、写真に描かれている単語から勉強するのね。あ、ついでに、写真描写に必要な単語を教えてもらえばいいんだ。
写真描写に必要な単語
Please provide some vocabulary needed to describe this photo.
このプロンプトだと主に名詞関係がリストアップされてきました。ついでに、写真描写に必要な動詞も質問してみました。
写真描写に必要な動詞
Could you give me some words and phrases,focusing on verbs, to describe this picture?
これで、無事、写真描写に必要な動詞をピックアップしてもらうことができました。
ChatGPTによるレッスンプランによると、ボキャブラリー関係は次のような提案がありました。★は、上で紹介したプロンプトで、リストアップできます。
基本（おそらく名詞）★
人物と感情
行動（おそらく動詞）★
場所と環境
上級単語と概念（抽象的な語彙）
形容詞と副詞
選んだ写真により、このあたりはすべて学べる場合と、一部だけ学べる場合がありそうです。今回は、顔のない、写真を選んでしまったので、感情の部分や、クローズアップした写真なので、場所や環境のボキャブラリーの展開は難しそうでした。
写真に応じて、人物や感情の表現、場所や環境や抽象的な表現、描写に必要な形容詞や副詞も追加で教えてもらうことができそうです。
今回、説明に使った写真はこちらです。医者と患者がテーブル越しに向かい合って座ってる写真で、顔は写っていません。
自分の言いたい表現を日本語で教えてもらう
そうして、やっと前回の写真描写に戻れましたｗ。
いきなり、写真描写してしまうと、自分の知っている単語やフレーズ範囲でしか、描写できませんが、必要なボキャブラリーを学んで取り組むと、もう一歩上の写真描写ができます。
ただ、ChatGPTに教えてもらった表現だけでは、自分が説明したいことが言えない場合があります。そんな時にも、気軽に教えてくれるのが、バイリンガル以上なChatGPT先生です。
タイプするのが面倒だったので、スマホのChatGPTアプリの入力フィールドにあるサウンドバロメーターのようなアイコンをクリックして、日本語で、
「机ごしに向かい合って座る」って英語ではなんと表現しますか？
と聞いてみたところ、それまでのやり取りが英語だったせいか、私の日本語は勝手に英語に翻訳され、テキストログには以下のように記録されました。
How should I describe the feeling of sitting across the table in English?
これに対して、様々な対面に座る表現を教えてくれました。しかもなぜか感情付きでｗ 表現しますか、という私の日本語の意図をくみ取ってくれたのかしら・・・。
Describing the feeling of sitting across the table can vary based on the context and the emotion or atmosphere you want to convey. Here are some ways to describe it:
Formal/Professional Setting:
"Sitting poised across the table, we engaged in a focused discussion."
"We sat face to face, discussing matters of utmost importance."
Intimate/Familiar Setting:
"Sitting across from her, I felt a warm sense of intimacy and connection."
"As we sat opposite each other, the familiar comfort between us was palpable."
Tense/Uncomfortable Setting:
"I sat rigidly across the table, feeling the tension in the air."
"Sitting opposite him, an uneasy silence settled between us."
Casual/Friendly Setting:
"Sitting across from him, we chatted away like old friends."
"We took our seats opposite each other, diving into lighthearted conversation."
Reflective/Thoughtful Setting:
"Sitting across the table, we lost ourselves in deep thought and reflection."
"As we sat facing each other, there was a mutual understanding, and words became unnecessary."
When describing feelings in English, consider the physical sensations, the emotional atmosphere, and the interpersonal dynamics. By combining these elements, you can paint a vivid picture of the scenario you're describing.
また、写真の中で、指を組み合わせて机の上に手を置いているシーンがあったのですが、GPTの模範解答は、the patient's hands are clasped together で、このbe clasped togetherという表現になじみがなかったので、次のように別の表現を聞いてみました。
the patient's hands are clasped together
Are there any other similar phrases like this "be clasped together"?
Here are some similar phrases and expressions to describe hands being "clasped together":
The patient’s hands are intertwined.
The patient's hands are locked together.
The patient's fingers are laced together.
The patient’s hands are joined.
The patient's hands are held tightly together.
The patient is holding his/her own hands.
The patient’s hands are knitted together.
All of these phrases convey the idea of hands being held or put together in some manner, though the exact image might vary slightly depending on the choice of words.
この中ではinterwinedはなじみがあり、自分が会話の中で使う場合は、joinedとかheld tightly togetherあたりが使いやすそうでした。
いかん。そうじゃない。単語を増やしたいので、clasped togetherを積極的に使います。この表現はニュートラルな表現だそうで、不安なときにも、軽く手をくんでるだけの時にも使えるそうです。
たった一枚の写真なのに、ChatGPT先生とレッスンしてるといろいろな学びに広がります。トピックがなくて何を話せばいいかわからない、から簡単に脱出できそうです。
最後にストーリーテリング
ChatGPTによって提案されたレッスンプランにはストーリーテリングも入っていました。これはちょうどよい会話レッスンになる、と思って、音声で、ショートストーリーを作って入力してみました。
I tried to make a story using this picture. So, after that, can you correct my story? And if you provide some suggestions to rearrage the storyline, please let me know.
ちなみに、利用しているのは、スマホアプリ版で、ヘッドホンアイコンの音声やりとりではなく、サウンドインジケーターアイコンの単純な音声入力の方です。ヘッドホンアイコンの方でやりとりすると、ちょっとした言いよどみを許してくれず、言いたいことの半分も言えないことが多いのです ^^; 単純に会話を楽しみたいときはいいのですが、今回のような表現を学びたいときには単純な音声入力の方がいいなと思いました。
私の作ったショートストーリー
Emily was worried about her health condition so she went to the doctor's office and she met her doctor. She told about her concern and he listened to her story carefully. She was nervous but when she talked to her doctor, her concern was almost disappeared. Maybe her concern or her health was caused by her stress. So, talking or communicating with others is the best choice to improve their health.
ChatGPTからの回答
Emily had been feeling uneasy about her health, prompting a visit to her doctor's office. Upon meeting her physician, she shared her concerns, to which he listened attentively. Initially, Emily felt a surge of nervousness, but as their conversation progressed, her worries began to fade. It dawned on her that perhaps her health issues were rooted in stress. The interaction reaffirmed her belief that open communication can be a powerful remedy, often providing relief and clarity in challenging times.
写真描写に使える写真素材
おそらく、このやり方であればどんな写真素材でも、英会話のレッスンが成り立つと思います。しかも、相手はAIなので、多少写真写りの悪い自分の写真でも気にすることなく使えると思います。この点がリアルな先生との違いですね ^^;
ただ、趣味が「テクノロジーを使った英語学習方法の発見」なんていう、わかるようなわからない趣味を持ってる私には、写真を見つけるハードルがとても高いのです。
まあ、唯一、使えそうな自分関連の写真といえば、英会話レッスンで毎回週末何してた、とか、何かトピックある？と聞かれるので、出かけた先の風景写真とか、外食したランチやディナーは基本的に写真に撮ってるので、そのあたりをChatGPTに送って、この写真を説明してと、説明してもらって、アイスブレークのネタを仕入れることでしょうか。
ついでに、ChatGPTにも聞いてみました。
ストックフォトのウェブサイト（Unsplash、Pexels、Pixabayなど）
ニュースサイト
SNS
アートウェブサイト（DevianArtや美術館のウェブサイトなど）
自分の写真
教育関連のウェブサイト
Googleイメージ
本や雑誌
Creative Commons Search
クリップアートやイラスト（Clipart.comなど）
著作権には注意してね、という注釈付き。この中では、ニュースサイトの写真もいいなと思いました。個人での学習範囲で。著作権大事。私はなんちゃってグラフィックデザイナー。
いや、そうじゃないんです。探す手間を省きたいんだ！
そこで、思い出したのが、現在休会中のDMM英会話。確か、教材の中に写真描写があったはず。
か、完璧じゃないか・・・。そんなわけで、しばらくの間、このレッスン教材にある写真を順番に勉強したいと思います。
ちなみに、PDFをウェブで表示して、写真だけをスクショして、必要な部分だけトリミングして、ChatGPTに渡しています。
ChatGPT Proが使える子すぎて、感動が抑えきれない今日この頃です。
（余談）DALL-E 3を使った素材作成
今回の記事に貼った医者と患者の写真は他サイトからの転載ではありません。生成AIに生成してもらった写真です。
まず、ChatGPTに基になる写真を送って、このような写真をDALL-E 3に作ってもらうにはどんなプロンプトにすればいい？と質問して、プロンプトを作成してもらい、そのプロンプトをDALL-E 3に送って、ちょっと調整した結果の写真です。
ブログ等で利用する写真は生成AIに作ってもらうといいですね。
サポートは記事のベースとなるサービスや製品購入に利用させていただきます。