見出し画像

小中学生向けSDGsトランスフォーマー深層ニューラルネットワーク構築への挑戦

ESDAcademy

Ⅰ.SDGs教育現場におけるAIの活用への期待

2022年にChatGPTが公開されBing Chat、Bard等の対話型生成AIは、あたかも人間と自然に会話をしているかのような応答が可能であり、文章作成、翻訳等の素案作成、ブレインストーミングの壁打ち相手などへの利用で民間企業等で広く使われるよいになり、わが国においても多岐に亘る活用生成AIの黎明期を迎えました。

皆様もご存知の通り、次世代SDGs達成のために児童生徒向けに行われるESD（Education for Sustainable Development、持続可能な開発のための教育）は、達成度や教育手法の変更などにより、毎年、四半期ごとに目標や手法が微妙に変化します。
そのため、一般的な印刷された教科書を使用する場合、過去3年前の内容を学習するという不自然な状況が生じています。また、ESDにおいて地域性が重要であり、東京で使用されている教科書が北海道では適用できないといった問題も存在します。
このようなESD教育の現状において、教育資材の適切に機能していないことがあり、地域性に合わせた細分化された教材や最適な学習教材を提供する必要性が高まっています。そのため、生成AI（GPTなど）を使用したESD実践モデルが、地域性や教育対象年齢を考慮した最適な学習教材を提供する点で非常に効果的であるとの判断から、AIの活用が進んでいます。

一方で、AI技術の進歩やサービス開発は飛躍的なスピードで進んでおり、教育分野でも多くのメリットが指摘されています。しかし、子供たちがAIの回答を盲信する可能性など、懸念材料も存在します。教育現場におけるAIの実践的な運用には、多くの問題が解決される必要があり、ESDよりも一般教科の実践には時間がかかるかもしれません。。

ただ、AIが児童生徒を教育すると言われると、児童生徒や教師を含む社会全体でAI技術が急速に普及しつつあることは事実です。しかし、明確ではないものの、皆さんも何か怖い危機感を感じることがあるのではないでしょうか。

そんな中、文科省としての公式声明は令和５年７月４日に文部科学省初等中等教育局から「初等中等教育段階における生成AIの利用に関する暫定的なガイドライン」が示されました。この事業はリーディングDXスクール事業とての一環でリーディングDXスクール事業追加公募(生成AIパイロット校)もありました。
生成AIパイロット校での実証実験モデルなのでしょうが、上限100万円の委託研究費と少額です。本来、生成AIのモデルを作りそれなりの実証実験を行う場合はAI技術、数学、言語学、ネットワークのスキルが必要となりますので、一般的な教員スキルだけでは何も出来ないのが正気な現状でしょうが、慣れ親しむ為には、このような初期レベルのTRYは重要なプロセスになると思い期待はしています。

Ⅱ．小中学生向けトランスフォーマー
　　深層ニューラルネットワークの実現へ挑戦

2021年から私達もこれまで開発したER向け三次救急意思決定支援システム（いしけっていしえんシステム、Decision support system;DSS）を流用して小中学生向けトランスフォーマー型深層ニューラルネットワークの設計からスタートしました。
ドクターへ対する各種デジタル診断機から得たバイタル情報から推測可能な疾病名、処理の手順などをリアルタイムに変化するバイタル情報からエラスティックに「今どの処置が必要か」を知らせるER向け三次救急意思決定支援システムとの類似点も多く、母体としては有効でした。

具体的な類似点は

  • 患者の状態＝＞児童生徒が興味を持ったSDGs達成の事象（良い事も悪い事も）

  • バイタル/遺伝情報＝＞児童生徒の居住地域、年齢、性別などのパーソナル情報

  • 既往歴などのフィルタリング機能＝＞地域性(含む気候、観光、地域経済状態）

上記のようにシステムの大枠には大きな変更が不要な事が、流用の利点でした。

Ⅲ．設計段階の問題点の洗い出し

１．AIアプリが動作可能端末普及率調査


AIアプリが動作可能なスマートフォンやタブレットは中学生では約9割と高く、小学生はほとんどの地域でWiFi接続可能な配布されているのが現状で、教育現場でのAIアプリ動作可能端末利用は可能な数字です。

出典：文科省2023

2．AIアプリの個別指導の優位性

ESD教育は、持続可能な価値観や行動を育むために個別の学生に合わせた指導が必要です。AIアプリケーションは一般的なアプローチに加えその児童生徒に合わせた情報を提供することが可能になります。
言換えると一般教科の一面的な理解度のアップとことなり、その児童生徒に合致した情報提供が可能になる為に個別のニーズに対応することでその児童生徒なりのSDGs達成に対しての問題解決意識を育成出来る事は大きな意義となります。

３.ヒューマンタッチの不足

一般教科の教育カリキュラムは通常、特定の科目やトピックに焦点を当てています。一方ESD教育は、科目の枠を越えた総合的なアプローチを必要とするため、既存のカリキュラムに組み込むのが難しいことがあります。
ESD教育では感情や倫理に関連する重要な要素を取り扱うことが多いため、全体的な倫理観での教育には限界があるとされています。つまり全体的な理解度を上げようとするため指導者は少数派の意識や考え方を無視した一環教育を行う事になります。
結果、ヒューマンタッチが欠如することが問題です。

ただし、AIも感情を理解する能力に制約があるため、教育における個々の児童生徒に対して感情的な接触や議論が不足する可能性があります。その問題解決にはパーソナルデータセットの充実が不可欠でそのプラットフォームとなるトランスフォーマー深層ニューラルネットワークの機能が複雑かつ大規模になる為にシステム設計の難しさがあります。

４．ESD教育の評価と試験の課題

我国での一般教科評価の多くは試験に依存しています。しかし、ESD（Education for Sustainable Development、持続可能な発展のための教育）
学習の評価は、従来の評価方法とは異なるアプローチを取ることが必要になります。
ESDは持続可能性に関する知識だけでなく、実際の行動や価値観の変容を目指すため、独自の評価方法が必要となり、持続可能性に焦点を当てた教育の成果や評価を正確に測定する方法が不足していることがあります。
成果や評価が一般教科と違い単純ではないことがESDの導入を難しくしています。

2020年より私達は海外のESD関連団体と情報交換など交流/協力関係を構築してきました。そこでもESDの成果評価の問題はこれまで常に論議されてきました。そこで論議されたESD学習の具体的な評価方法のいくつかを示します：

  1. ポートフォリオ評価:
    児童生徒が持続可能性に関連するプロジェクトや活動に取り組んだ証拠としてポートフォリオを作成し、その成果物や反映を評価します。ポートフォリオには児童生徒の成長や持続可能性に対するコミットメントが示されます。

  2. フィールドワークと調査:
    児童生徒に実際の環境での移動教室、フィールドワークや持続可能性に関する調査を行わせ、その結果を評価します。調査レポートやプレゼンテーションを通じて児童生徒の調査能力や理解度を評価します。

  3. ディスカッションと対話:
    クラス内でのディスカッションやグループ対話を通じて、児童生徒
    の持続可能性に関する洞察や批判的思考能力を評価します。議論に参加し、他の視点を尊重する能力が評価の対象です。

  4. プロジェクトベースの評価:
    児童生徒に持続可能性に関連するプロジェクトを設計および実行させ、そのプロジェクトの成果やプロセスを評価します。プロジェクトの計画、実行、評価における学習が評価の焦点です。

  5. 自己評価とピア評価:
    児童生徒に自己評価を行わせ、他の学生とのピア評価を行う機会を提供します。自己評価や他者からのフィードバックを通じて、学生は自己認識を高め、成長する機会を得ます。

  6. 持続可能性指標の追跡:
    学習プロセスや学習成果を持続可能性指標に基づいて追跡し、児童生徒の持続可能な行動や価値観の変化を評価します。持続可能性の目標達成度や影響を測定します。

”ESD学習の評価は、知識だけでなく、実践的なスキル、価値観、行動の変容に焦点を当てています。そのため、児童生徒が持続可能な市民として成長するプロセスを評価するために、多様な評価方法が必要です。一般教科の評価方法と比較すると、ESDの評価には指導者が十分な労力と時間を費やす必要があり、詳細かつ正確な評価は人力では難しい場合もあります。そのため、AIアプリケーションを用いた評価、具体的には小中学生向けSDGsトランスフォーマー深層ニューラルネットワークの構築に期待が寄せられています。"

Ⅳ．AI精度とパフォーマンスを向上させた
　　Transformerの概要

まずはAIの進化のきっかけになったTransformer（トランスフォーマー）という手法を判りやすく可能な限り説明してみます。2017年にこのTransformer理論が登場し大きくAIの精度が向上し、その後の研究に多大な影響を与え現在のGPTのようなAIが登場しました。
では、そのTransformerとは、USC(南カリフォルニア大学大学院)のAshish Vaswani Ph.D, 氏を中心とするGoogle Brain研究者らが2017年に発表された「Attention Is All You Need🔗」という論文がディープラーニングのモデルとなっています。

University of Southern California Viterbi School of EngineeringのVaswani氏とNiki嬢

以下、「Attention Is All You Need」の引用になります。(英語PDFの本文をお読みに方は上記「Attention Is All You Need🔗」をクリックしてください。

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely.
支配的な系列変換モデルは、エンコーダーとデコーダーを含む複雑な再帰型または畳み込みニューラルネットワークに基づいています。最も効率的なモデルは、エンコーダーとデコーダーを注意メカニズムを介して接続しています。私たちは、リカレントと畳み込みを完全に廃止し、注意メカニズムだけに基づく新しいシンプルなネットワークアーキテクチャ、Transformerを提案します。
引用元：Google- “Attention Is All You Need”

どうですか？難しいですか。
要は従来の方式であるリカレントニューラルネットワークや畳込みニューラルネットワークで利用されていたリカレント層や畳み込み層を使わずにAttention層だけを使うようにしたらなんか精度が格段に良くなったよ！ということです。
論文名の「Attention Is All You Need」とは、その言葉通りAttention層だけで十分だ！との事になり、これまでまでのRNNやCNNなどの従来のディープラーニングで当たり前に考えられていたReccurent層や畳み込み層を使わずにAttention層だけを使うだけで十分用は足りるという既存の枠組みを疑って生まれた全く新しい理論です。

Ⅴ．小中学生向けESD学習で
　　欠かせないファインチューニング

ファインチューニングというアプローチはTransformer以前AIの処理には必要でした。
「特殊なカテゴリーを事前に学習されたモデルに対して手元のデータセットを元に再学習させ、モデルのパラメータを調整する事を意味します。
今回の作業ではESDやESD用語などの特定タスクに適用適応できるようなモデルを生成する」アプローチを指します。

特にESDやESD用語は”sustainable”のように元々は英語で作られたものが多くもちろん日本語にも翻訳されていますが、新しい分野でもあることから翻訳精度が結構まちまちで特異なデータセットを構築する必要があります。

また、今回の主対象が小中学生という事もあり、３文字英略語やカタカナ表記、および児童生徒に特有な言語などの統一性が今一確立されていないことからAIの誤動作を招かないように大規模なビッグデータ解析からファインチューニング用のデータセットの構築が必要になります。

私達は2022年初頭からこれらデータセット構築を目指して下記の作業を実施してきました。GPT（Generative Pre-trained Transformer）モデルをESD（Education for Sustainable Development、持続可能な発展のための教育）データセットに適用するためにファインチューニングする場合には、これまでの実運用で下記のように各作業を実施。

  1. データセットの収集:

    • まず、ESD（Education for Sustainable Development、持続可能な発展のための教育）に関連するデータ収集を開始しました。収集対象には、持続可能性に関する教科書、カリキュラム、学習資料、研究論文、ウェブコンテンツ、教育用の質問と回答、教材などが含まれます。
      国内のESDとSDGsに関するコンテンツは、海外と比較して量的にも不足しており、精度を向上させるためには海外のデータを活用する必要がありました。特に、ESD活動の中で重要な役割を果たす移動教室などのフィールドワークに関する報告が非常に少ないことが問題です。

      これには、フィールドワークの報告が費用の都合やウェブ公開の問題で滞っていること、また報告内容が非常に簡単で、「SDGs14のゴール達成のために浜清掃を実施しました」といった簡素な内容で、フィールドワークの目標、達成度、問題点について詳細な記述が欠けていることが原因と考えられます。海外の状況と比較して、国内の情報が不足していることが明らかになりました。

  2. データの前処理:

    • 収集したデータをクリーニングし、整形します。テキストデータの場合、テキストのクレンジング、トークン化、文の分割などの前処理が必要です。

  3. データのラベリング:

    • データセットにラベルを付けることで、モデルに教育対象の内容を理解させるのに役立ちます。ラベルは、例えばテキストのカテゴリやトピック、難易度レベルなどに関連する情報です。

  4. データの分割:

    • データセットをトレーニングデータ、検証データ、テストデータに分割します。トレーニングデータを使用してモデルを学習し、検証データを使用してモデルのパフォーマンスを監視し、テストデータを使用してモデルの最終的な評価を行います。

  5. ファインチューニング:

    • GPTモデルを事前学習済みの状態からファインチューニングします。トレーニングデータを使用して、モデルをESDデータに合わせて調整します。ファインチューニングの際、適切なハイパーパラメータや学習率の調整が重要です。

  6. モデルの評価:

    • ファインチューニングされたモデルを検証データやテストデータで評価し、性能を確認します。モデルの性能が十分であれば、ESDタスクに適したモデルが完成です。

  7. モデルのテスト運用:

    • ファインチューニングされたモデルを運用環境に統合し、ESD教育などのタスクに活用します。モデルの運用にはテストに適切なインフラストラクチャとリソースを準備しました。

ESDデータセットの作成とGPTモデルのファインチューニングは、タスクの特性に応じて調整する必要があります。また、プライバシーやセキュリティに関する考慮事項も重要で今後の課題となっています。
ファインチューニングはもっと多くの十分なデータと計算リソースが必要であるため、適切な計画とリソースの確保が今後の課題です。

Ⅵ．ESD学習効果の測定/評価

また、ESD学習の効果をどう測定するか？グループ内でも現場先生方を交えて既に2，3回論議をしていますが、一般教科と違いESDの主要な目標は、持続可能な価値観や行動の形成を促進することです。しかし、このような価値観や行動の変化は長期間にわたって現れるため、即座に評価するのは難しいです。短期的な評価だけでは、ESDの真の効果を正確に捉えることができません。

また、ESDは多くの要因に影響されます。教育環境、教材、教師の質、生徒の背景、地域の文化など、さまざまな要因が学習効果に影響を及ぼします。これらの要因を適切に制御し、地域性を加味した全国、世界的な評価基準の策定には5年は掛かると思われます。

特に持続可能な価値観や行動は主観的な要素を含むことが多いため、客観的な評価が難しい事です。個々の学生や教育者が持続可能性に対する異なる認識や価値観を持つことがあり評価の標準化には多く問題があります。

我国では他の評価と同じようにESDの評価に関する十分なエビデンスや標準的な評価ツールが不足していることがあります。このシステムが万全ではないものの学習効果測定や個々の児童生徒の理解度、貢献など支援をはじめ持続可能な教育の評価ツール開発に向けた努力を今後は重点的に継続していきたいと思います。


この記事が気に入ったらサポートをしてみませんか？