GPT4による合成テキストでGPT3.5をfine-tuning。精度は向上しました! 将来は訓練テキストが要らなくなるかも???

こんにちは、９月も後半というのに相変わらずの暑さ。写真もミスマッチ感満載ですが、早く涼しくなって欲しいのであえて秋にこだわります。でも今月いっぱい暑いままかも知れないですね。

さて、先日ご紹介したChatGPT3.5のfine tuningですが、やはり話題になってますね。ご自身のタスクに特化して性能を上げたいニーズは特に企業では根強いのだと思います。そこで今回は手元にデータが無くてもなんとかしたいケースを想定して、合成テキストを生成したのちfine tuningを行う実験を行ってみました。

１．実験の内容
今回行った実験も前回同様、英文のクレームについて、そのクレームが何の金融商品についてのものかを判別させるタスクを設定しました。銀行のクレームなので、住宅ローンや銀行口座といった６種類の金融商品について判別するタスクとなってます。fine-tuningで使用したデータは、検証データは前回同様100 sampleでミニマムな構成です。ただし訓練データが前回と違います。今回は以下のような顧客クレームのメールをGPT4で生成しました。一見したところ本物と見分けがつきませんね。さすがGPT4の性能は素晴らしい。訓練用に同様な顧客クレームを15sampleを生成し、fine tuningを実施しました。

GPT4による合成テキスト

２．実験の結果
はじめての合成テキストなので、どうなるかと心配しましたが、結果的には以下のとおり、fine-tuningの効果を確認できました。わずか15sampleによるfine-tuningなので劇的な改善ではないですが、base GPT3.5ではAccuracyは0.5〜0.55なので、このタスクについての性能は向上していると思います。

実験の詳細はこちらのnotebookをご覧ください

３．考察
合成テキストでfine-tuningなんて、以前では検討すらしなかった手法ですが、GPT4が出たお陰で現実味が帯びてきたと思います。sampleの数やpromptの書き方など、考慮すべきポイントはいくつかありますが、とにかくデータが無くても始められる利点は大きいと思います。生成モデルも現在はGPT4の一択と言った感がありますが、来年にはGoogleから新しいモデルGeminiも出そうで選択肢も増えそうです。とにかく技術の進展が速いので、今後いろいろ期待できますね。

いかがでしたでしょうか？　これからも、いろんな実験をやってみて成果が出たら、こちらで紹介して行きたいと思います。それではまたお会いしましょう！

Copyright © 2023 Toshifumi Kuga. All right reserved

Notice: ToshiStats Co., Ltd. and I do not accept any responsibility or liability for loss or damage occasioned to any person or property through using materials, instructions, methods, algorithms or ideas contained herein, or acting or refraining from acting as a result of such use. ToshiStats Co., Ltd. and I expressly disclaim all implied warranties, including merchantability or fitness for any particular purpose. There will be no duty on ToshiStats Co., Ltd. and me to correct any errors or defects in the codes and the software.