chatgptと外国語学習との相性(LINE公式アカウントの会話機能強化）
今毎日勉強しているAIでできる事を学習しながらLINEで公式アカウントを作り、やりたい事をひとつづつ実現させて行っております。
スラング先生のLINE公式アカウントはこちらです。AIはなんでもできる！あれもできるこれもできる！それはただの理想と妄想ですw
実はそんなに簡単でも無いです。
今の時点2023年3月27日現在までにできる様になった事を述べて見たいと思います。
公式アカウントの中には助手のリーさんとAIを設定しフォロワーの皆さんの楽しく広東語学習ができる様お手伝いができる様、駐在させております。今まで助手のリーさんができる様になった事；
aiのbotが「スラング先生の助手のリーさん」という役割を認識し、広東語関連の話をする会話botとして会話ができる様になった事。
aiのbotは単発の質問の受けこたえはできますが、会話とは話が常に過去の話と連動しており、会話というのは話の中の流れに沿って記憶しながら会話を発展させていく物ですので、記憶が無いと会話は成り立たない。
翻訳（これが曲者、まだおかしい事がたくさんあります）
写真を読み取り（OCR機能）テキスト化し送り返す機能。
写真を読み取り（OCR機能）テキスト化し送り返すと同時に翻訳機能。（google cloudを通しているのでこれは中々優秀の物となっております）
外国語発音を習う。外国語発音を習う部分には三つの課題をクリアしなければならない。
一つ目「質問を受けた単語について正しい発音記号を返す。」これが中々に難しく、ある特定のデーターに接続しているわけではないので結果がまちまちという事もあり正直まだ頼りになる存在ではない）→改良の優先度一番大きいです。
二つ目「その正しいデーターという物を一から作るのか、リンクさせるのかどこのデーターが正しいのか？どう運用するのか」などこれまた難しい課題なのである。
三つ目「外国語を習うのにテキスト（文字だけでは学べない）一番は言語ですので話さなければならない。この「話す」をどうすれば使用する方から学びを得る事ができ、的確にフィードバックができ、かつ効率よく楽しくできるのか。」
この為にはまず必要としている単語及び文章の音声を作り出す事ができなければならない。
1,2の部分は何度かお話しに出てますがLINEbotに興味が湧いた方はこちらへ。有料記事ですがその単価以上の物を確実に得られます
3はまだ問題をクリアできておりません。先に4,5に取り掛かっております。こちらの記事を参考に色々とテストを繰り返して見ました。OCRとテキスト化後の翻訳機能。
まずは送った写真の文字をテキスト化させる機能から
👇
送った画像の文字をテキスト化し翻訳させる機能
この機能をつける為に前述のCHATGPTさん主催するdiscordルームの神の様な方々に助けていただき、実装する事ができる様になりました！初心者の方は悩まずここに先ず行かれる事を強くお勧めします。
そして次の課題となる課題は発音これをどう組みわせていくかに取り組み中です、ちなみに参考にしている記事はこちらです
内容をまずは二つに分け。
・外国語で希望のテキストを打ち出す
・外国語で希望のテキストを打ち出す→テキストに対して発したい言語として音声ファイルを生成する（mp3)生成後にこれをユーザーに返信するという物です。
test.mp3までは辿り着けました"我係SLANG老師嘅助手 李小姐，我會盡力以為幫助你嘅學習內容嘎。"下の横線あたりをダブルクリックしますとmp3が起動します
mp3音声ファイルを生成する事ができる様になったのでこれを会話のどのタイミングでユーザーがどういう時に必要になり、この音声を返信させるかが鍵となってきます。まだできてないので、完成と共にまたご報告したいと思います。じゃ✋バーイ