大学IRとChatGPTの関係についての覚書
2023年4月28日追記：
4月の覚書を公開しました
はじめに
今回は以前書いた記事で得た「架空の大学職員にChatGPTを使わせたシミュレーション」をベースに、大学IRとChatGPTについて書きました。今が旬ですね。
この記事では、抽象化した言語オブジェクトとして実行された大学職員にChatGPTスキルを実装したケースをシミュレートしました。私は大学IR(Institutional Research)という分野というか界隈に所属しているので、今回は大学IR業務を「ChatGPTアシスタント」という職能を活用して実施するケースを想定してみます。そのうえで、これからの大学IR業務について考えてみます。
IR界隈ではSaupe(1990)によるIRの定義が擦り切れるほど引用され続けています。聖書と言っても過言ではないので、今回も慣習に倣って、ChatGPTには以下の定義を学習させています。
"Institutional research is research conducted within an institution of higher education to provide information which supports institutional planning, policy formation and decision making."
なお全てGPT-4を使用しており、プロンプトの入出力は英語です。DeepL翻訳したものをそのまま記載しているので翻訳の粗はご了承ください。
大学IR業務をChatGPTが担うシミュレーション
以下がChatGPTが出力した「大学IR業務が抱える課題・問題と、ChatGPTによる解決およびそのプロンプト」の一例です。複数出力したうちの一部を掲載します。
課題2：トレンドとパターンの特定
学生の成績や教員の研究内容などの傾向やパターンを把握することは、大学の方針や意思決定を行う上で欠かせないことです。
ChatGPTの能力を使ったソリューション：
ChatGPTは、大規模なデータセットを解析してトレンド、パターン、異常を特定し、意思決定プロセスに役立つ貴重な洞察をインスティテューショナル・リサーチのスタッフに提供します。
**プロンプトの例：***。
"ChatGPT、教員の研究成果に関するデータを分析し、研究費配分戦略に役立つ傾向、パターン、異常を特定する。"
結論として、ChatGPTの能力を活用することで、インスティテューショナル・リサーチに携わる大学の事務職員は、自身の業務を強化するだけでなく、大学全体の成功と成長を支援することができます。ChatGPTは、重要な問題への対処、データ主導の意思決定の改善、大学内のコラボレーションと継続的な改善の文化の醸成において、貴重な支援を提供することができるのです。
大学の現況を調査してパターンを把握することは機関調査の基本ですね。確かに重要な業務の一つでしょう。ただこのプロンプトはあまりにも雑なので、深津式プロンプトに整形してもらいました。「命令書、制約条件、入力、出力」形式ですね。
例2：トレンドとパターンの識別
インストラクション
あなたは、インスティテューショナル・リサーチに詳しい実務家であり研究者です。制約条件と入力項目に対する回答を記入してください。
制約条件
∙ 私は大きな大学に勤めています。∙ アウトプットはステップ・バイ・ステップで、理解しやすいものであるべきだ。∙ アウトプットはMarkdown形式である。
入力テキスト
教員の研究成果に関するデータを分析し、研究費配分戦略に役立つ傾向、パターン、異常を特定するにはどうすればよいでしょうか。
アウトプット
メソッドの大まかな概要
具体的な手順とその内容
概要
ちょっと雑ですが前よりも指示が明確になりました。
このプロンプトを実行した結果がこちら。
教員の研究成果を分析する
教員の研究成果に関するデータを分析し、研究費配分戦略に役立つ傾向、パターン、異常を特定するには、以下のステップバイステップのガイドに従ってください。
方法の大まかな概要
データ収集
データクリーニング
データエクスプロレーション
統計解析
ビジュアライゼーション
インタープリテーション
おすすめポイント
具体的な手順とその内容
1. データ収集
教員の研究成果に関するデータを収集する（ただし、これらに限定されない）：
出版物の数
引用文献
エイチインデックス
研究資金の獲得
コラボレーション（社内・社外）
受賞歴・評価
分析に関連する時間枠を特定する（例：過去5年間）
2. データクリーニング
複数のソースからのデータを統合する
指標と測定尺度の標準化
欠損または不完全なデータの処理（例：インピュテーション、除去）
重複を削除し、エラーを修正する
3. データエクスプロレーション
主要な変数とその関係を特定する
要約統計量（平均値、中央値、標準偏差など）を算出する。
トレンドやパターンを理解するために、最初のデータ可視化を実行する。
4. 統計解析
相関分析、回帰分析を行い、変数間の有意な関係を特定する。
クラスタリングまたは分類技術を適用して、研究成果に基づいて教員をグループ化する。
異常検知アルゴリズムを使用して、異常値や異常なパターンを特定する。
5. ビジュアライゼーション
など、わかりやすく情報量の多いビジュアライゼーションを作成します：
研究成果を部門間で比較するための棒グラフ
経時的な傾向を示す折れ線グラフ
相関関係を明らかにする散布図
クラスターやパターンを特定するためのヒートマップ
分布の比較のための箱ひげ図
6. インタープリテーション
統計解析の結果を分析し、ビジュアル化する。
研究成果に関するトレンド、パターン、異常の特定
研究の成功と資金配分に貢献する要因を理解する
特定された異常値や異常値を調査し、さらに注意を払う必要があるかどうかを判断する。
7. 推薦の言葉
分析から得られた主な知見をまとめる
研究費配分について、以下のようなデータ駆動型の戦略を提案する：
インパクトのある分野や成長が期待される分野への資金配分
研究成果を高めるための学際的な共同研究の促進
支援強化の効果が期待できる資金不足の分野を特定する。
資金配分の公平性を確保するために、特定された異常値や異常値に対処する。
関係するステークホルダー（大学管理者、部局長、研究委員会など）に調査結果や提言を伝える。
概要
以下の手順を踏むことで、大規模な大学における教員の研究成果データを分析し、研究費配分戦略に役立つ傾向、パターン、異常値を特定することができます。このプロセスでは、データの収集、クリーニング、探索、統計分析、可視化、解釈、および推奨を行います。この分析を通じて、データ駆動型の意思決定を行い、研究費の配分を決定することができます。
はい。素晴らしい。これが現状のChatGPTの威力です。大学IR担当者の強力なアシスタントになりうると思います。
これからの大学IR業務はどうなる？
以上のシミュレーションを踏まえて、これからの大学IRについて複数の観点から考えてみます。思いっきり私見です。
仕事は楽になり、説明が難しくなる
こういう話題をお話しするIRer友だちが周りにいないのでほぼ自問自答なんですが、IR担当者のほとんどは既にChatGPTとニンゲンの線引きが明快なのではないかと考えています。IR担当者はデータアナリストとしてデータをこねくり回して、データ活用者(執行部だかの偉いひと)に納得してもらうことが主な業務の一つです。上記したChatGPTの出力結果を採用するのもIR担当者、採用した理由を説明するのもIR担当者。私からすれば大学組織運営のAIに対する心理的障壁は非常に高く感じるので、今まで同様、技術のポジショニングそのものは変わらず、「IR業務のうち"頑張って人に説明するセクション"が大変になった」程度の認識なのではないでしょうか。よって「仕事が奪われるヤバい」より「AIで仕事楽になるけど人にどう説明しようか悩む」人が増えると思います。
ベンダーと大学IRの関係性が変化する
サービス/アプリ開発の質と効率が異常に高まったことが、大学IRの現場に大きな影響を与えるのではないでしょうか。
少し前に軽い気持ちでダッシュボードの要件定義を行ったらバチバチに実用的な要件が自動生成されてドン引きしました。システム仕様の策定も楽ちんですね。
大学IRでよくあるデータ管理・可視化基盤システムの方針設計をChatGPTにさせている
— Pogo (@pogohopper8) March 22, 2023
技術の障壁が限りなく低くなるのでいよいよ人間関係ゲー極まるな pic.twitter.com/1yv8S4Kca3
これはChatGPT活用のうち、クライアントとの対話による業務のお手伝いという側面です。Web画面で誰でも簡単に入出力可能。
その一方で、ChatGPT APIを利用してデータ分析/解析アプリを爆速で開発した人がいます。テーブルデータを投入すればChatGPTが複数の観点でサマライズしてくれるサービス。こうしたデータ要約プログラム、各大学が担当者レベルでスクラッチ開発しているんじゃないでしょうか。そのすべてを過去の遺物化するクオリティです(streamlit-pandasの超すごい版)。
ChatGPT APIの取り回しやすさは異常で、CoT(Chain of thought)を考慮に入れなければPython初心者でも30分弱で実装できます。もっと会話AIっぽくするために裏でメモリ管理したい場合でもPythonSDK・LangChainを導入すればあっという間にアプリが完成。市場はじきに良質なAIサービスで飽和すると思います。
大学IRに関する業務の中でシステムやサービス/アプリを導入する時、大学とベンダーとの関係の方針は以下のどちらかに偏っていると思います。
自分の大学の構成員が実装してノウハウ/知見を蓄積する
ベンダーに作ってもらってノウハウを外付けする
ChatGPT APIの登場は、この間にあるギャップを狭める役割を果たしたはずです。
ChatGPTとの対話から得られる成果とChatGPT APIの利用によって得られる成果、どちらも非常に強力です。その結果、大学IR業務を支援するサービスやアプリを提供するベンダーと大学IR担当者との関係のベストプラクティスは、これまで以上に「大学IR担当者が何を達成したいのか」という課題意識に依存するのではないでしょうか。
(代表的なサービスであるIRQuA、機会があれば触ってみたい)
プロンプトエンジニアリングが重要になるわけではない
これは既に予想されている範疇ですが、プロンプトデザインやプロンプトエンジニアリングはそこまで重要ではないと考えています。むしろすぐ陳腐化するでしょう。例えばMicrosoft社製品群にChatGPTが組み入れられれば、プロンプトの方針や大枠はMicrosoft社が決めるはずです。無論プロンプトインジェクション対策済み。似たようなことがChatGPTを代替するサービス/アプリ(ほぼ既定路線)で生じることが予想できるので、大学職員や大学IR担当者が特定のプロンプトに執着/精通する意味は無いと思っています。そもそもプロンプト〇〇という領域や意味内容そのものに対して私は懐疑的です。
ただ矛盾するようですが、現状プロンプトエンジニアリングが半端なくおもしろいこと、ChatGPTを上手に使えるスキルが各所で役立つことは事実なので、適材適所でうまく扱えば良いと思います。
あとはプラグインの動向次第ですね。3日先の世界が見えません。
おわりに
粗だらけですが取り急ぎ。非常に現場に寄った位置、極めて限られた観点からしか書いていませんが、いま現在の肌感覚を書き下しておきたかったです。それでは良いChatGPTライフを！
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？