見出し画像

"複数人の"作文やレポートがAIによる作成か自動で判定する方法

こんにちは、トキワです(Twitter:etokiwa999)。

ChatGPTが出てからというものの教育業界は大荒れです。

それもそのはず。教育業界の評価方法は「一定の知識をどれぐらい覚えてて思考として活用しているか」だからです。

だから先生たちからすると、生徒がChatGPTにレポートや記述問題を答えてもらってコピペしたら、生徒は簡単に点を取れてしまってちゃんと評価できなくなってしまいます。

というわけで今回はタイトルにあるとおり、生徒の提出した作文がAIによるものか判定する方法を紹介します。今回のポイントは「複数人の生徒」に対してです。

概要

まずChatGPTを開発したOpenAIは実は公式でAI文章判定ツールを公表しています。AI Text Classifierと言います。無料です。

なので「手動で頑張って」生徒の文章を一つずつここにコピーしていけば判定できます。ただ、中にはそんな頑張りを効率化したい人もいるでしょう。私もそのタイプです。

ただこのツールの仕組みは公開されていません(もしくは私が見つけられてないだけですが)。なのでこのツールと同じものを作るのはどうやら今のところ難しそうです。

そこで私はどうやったら近しいものが作れるか試行錯誤したところ、物凄くシンプルな形である程度の精度で再現できるようになりました。

企業のサービスを使う必要がないので安くできますが、その代わり手間はある程度かかります。このトレードオフは常に注意です。

ここから先は有料にしたいところですが、教育関係者には過度にAIを禁止にしてほしくないため、無料で公開します。ただもし内容がよければ、シェアいただきたいと思います。

1、OpenAIのアカウント作成

どこからどこまでが事前準備かによりますが(人によってはPCを買うところから)、PCを持っていてGoogle アカウントがあること前提とします。

そして不慣れな方からすれば急に難しいことをしないといけないと思うかもしれませんが、一つずつ説明していきます。

まずChatGPTを提供しているOpenAIのアカウントを以下から作成します。すでにChatGPTのアカウントをお持ちの方はこちらにアクセスして、2番の「OpenAIのAPIキー発行」まで進んでください。

メールアドレスを入力するか、下のGoogleアカウントかMicrosoftのアカウントで作成します。今回はメールアドレスで作成します。

パスワードを入力します。最低8文字です。Continueをクリックします(以下の画像は実際にはメールアドレスが入ってます)。

メールを確認してください、と表示されるので、受信箱にアクセスしてください。もし来てない場合、迷惑メールや「すべてのメール」も確認したり、以下の画面のResend emailで再送信してください。

以下のようなメールが届いています。Verify email addressをクリックしてください。

名前(First name/Last name)、誕生日(Birthday)を入力してください。組織名(Organization name)は入力してもしなくてもいいです(Optional)。Continueをクリックします(利用規約とプライバシーポリシーに同意したことになります)。

電話番号の登録を求められます。+81は日本の国際番号です。

SMSが届きますので、そこに書かれている6桁の数字を以下の画面に入力してください。

以下の画面になればアカウント作成完了です。

2、OpenAIのAPIキー発行

ここでは「API」の詳細は省きますが、OpenAIのシステムに別のツールからアクセスするための鍵だと思ってください。なので不用意に公開したりしないでください。

まず右上のHelpの右の部分をクリックします。そうするとメニューが表示され、「View API keys」をクリックします。

「Create new secret key」をクリックします。名前はなんでもいいです。「secret key」でもいいです。(以下の画面では、すでに私が一つkeyを作成しているために1つ表示されています)

作成できると以下の画面になります。右クリックでも、ctrl+cでもいいので、コピーして、パソコンのメモ帳を開いて貼り付けし、保存してください。あとで使います。Doneを押すと同じkeyは再度表示できないので、コピペを忘れた場合は再度同じことをして作成してください。

ここから先APIキーの利用が必要になるのですが、利用は有料です。ただし微々たる金額なので、急に数万円単位の請求が来たりはしません。詳細は以下をご覧ください。

これでOpenAIの設定は終わりです。お疲れ様でした。いったん休憩してください。

3、Google フォームの設定

次にGoogleフォームを作成します。Google フォームとは問い合わせフォームのようなものを無料で簡単に作れるツールです。作文の課題をこのGoogle フォーム経由で提出してもらうようにします。

作成方法はGoogleにログイン状態で右上の9つの点をクリックします。「フォーム」があるのでクリックします。

以下の画面で左上の「新しいフォームを作成」の下の「+」をクリックします。

入力内容は自由ですが、例えば以下のように入力します。
タイトル:レポート課題AI判定テスト
質問1つ目:段落。「~~について500字以上で書いてください」。必須。
メールアドレス回収設定(設定より変更できます)

上の「質問」の右隣りの「回答」をクリックすると以下の画面になりますので、「スプレッドシートにリンク」をクリックします。

「新しいスプレッドシートを作成」を選択して「作成」を押します。そうするとスプレッドシートが作成されます。

4、スプレッドシート作成&GPTアドオン設定

ここから本番です。以下の「アドオン」をインストールしてください。アドオンというのはスプレッドシートにはない機能を追加できる、というものです。

普通にアクセスすると以下の「インストール」をクリックすればいいのですが、Google Workspaceを使っている場合は、「管理者によるインストール」と「個別インストール」があるので組織の方々と相談してください。

再度スプレッドシートに戻って更新して「拡張機能」をクリックすると「GPT for Sheets and Docs」が表示されています。

「GPT for Sheets and Docs」クリック後、「Launch & Enable Functions」をクリックします。

すると右に以下のように表示されます。「Enter your OpenAI API key」にOpenAIの画面で作成したAPIキーをコピペし、Nextをクリックします。

そうすると以下の画面になります。引き続き右の部分を下にスクロールして、Next→I understandをクリックして完了します。右上の×を押して閉じても大丈夫です。これでGPTが機能追加されました

これでやっと事前準備が終わりました。

5、実際に文章を入力して判定してみる

再度Googleフォームに戻ります。右上の送信をクリックします。

送信方法の真ん中の「🔗(リンク)」をクリックすると、フォームのURLが表示されます。そのURLをコピーして、別のタブにコピペしてアクセスします。

入力して送信すると、スプレッドシートに反映されます。

ここが一番重要なポイントになります。スプレッドシートの1行目がフォームの質問になりますが、最後の質問(上記の場合はC列)の右(上記ではD列)に以下の文章を入れます。

You are an AI that judges very strictly whether an AI has created a sentence. How likely is the following text to be AI-generated? Please answer with very unlikely, unlikely, unclear if it is, possibly, or likely

今回の場合、C列の文章を判定したいため、D列の2行目(D2)に以下を入力してください。D2をコピーして、D3以降に張り付ければ、C3以降の判定もできます。

=GPT(D1,C2,0.7,100,"gpt-3.5-turbo")

「GPT for Sheets and Docs」で使えるようになった「GPT」という関数です。エクセルやスプレッドシートをよく使う方からすれば「sumif」や「vlookup」と同じです。

GPT関数の中の概要は以下です。一番重要なポイントと書いたのが1つ目のprompt(プロンプト、命令文)になります。詳細をお知りになりたい方は別途検索してみてください。

https://yakiimosan.com/chatgpt-google-spreadsheet-init/

上記のGPT関数を入力すると、以下のように判定できます。

判定の度合いは、本家のAI Text Classifierと同じく、very unlikely, unlikely, unclear if it is, possibly, likelyで判定します。

人間強め) very unlikely< unlikely < unclear if it is < possibly < likely (AI強め

個人的にはpossibly以上はAIで確定でいいと思います。unclear if it isはAIが作成したけど、最後に人間が少し調整している、という感じです。普通に文章書いたらvery unlikelyになると思っています。

ただ一部AIだったからといって問題とは私は思いません。AI文章を引用としてつかっていたり、その生徒と議論するとAIの知識が血肉になっていたりすればいいと思っています。

そして本質的には、社会や仕事での評価基準は行動の過程と結果なので、AIに教えてもらって結果何をしたのかに対して評価が行われてほしいなあと切に願います。

この記事が気に入ったらサポートをしてみませんか?