【学習理論】強化スケジュール

以前ご紹介したオペラント条件づけですが、実際に褒めて伸ばすということを進めていくと、困るのが、いつ褒めるのをやめるのか、、、ということ。

最初のうちは、どんどんご褒美をあげて習慣をつけていきますが、「オスワリ」→オスワリのポーズができるようになっても、毎回あげなきゃいけないの？なんて相談を受けることがあります。

実はこのオペラント条件づけは、より習慣づけるためにいろんなタイプのスケジュールを組み合わせることが推奨されています。今日はそのスケジュールについて、ご紹介します。

１．スケジュールのタイプ

行動量を増やすことを「強化」と呼びますが、強化スケジュールは以下２つに大別されます。

・連続強化
・部分強化（別名：間欠強化）

まず、連続強化というのは、特定の条件下において、毎回ご褒美を与えるものです。例えば、

オスワリのコマンド
↓
犬がオスワリのポーズを取る
↓
美味しいもの（ご褒美）がもらえる

というのを毎回続けるのが連続強化ですね。この連続強化は、まだ条件づけができていない段階（習慣化されていない）ときに使用します。

次に部分強化というのは、毎回ではなく、たまにご褒美をあげるというものです。例えば

オスワリのコマンド
↓
犬がオスワリのポーズを取る
↓
美味しいもの（ご褒美）がもらえる　というときもあれば
何もご褒美がもらえない　ということもある

２．連続強化と部分強化をどのように使い分けるの？

毎回ご褒美（強化子）が出てくるのが、「連続強化」で、たまにご褒美が出てくるのが「部分強化」です。これはそれぞれどのように使い分けるのかというと、

・連続強化：まだ習慣化されておらず、条件を理解していない行動を強化するときに使用する
・部分強化：すでに行動を学習しており、習慣を維持するのに使用する

という違いがあります。例えば、初めてワンちゃんに「オスワリ」というコマンドを教えるとき、最初は成功率が低いですよね。「オスワリ」といっても、ぼーっとしていたり、フセをしてしまいます。こういうときはまだ条件を理解していません。そのため、連続強化を使って、「オスワリというコマンドを飼い主が示したら、オスワリのポーズを取るとご褒美がもらえるよ」ということを何度も学習させる必要があります。この期間に部分強化を使ってしまうと、なかなか学習が進まなくなってしまうので要注意です。

一方、「オスワリというコマンド＝オスワリのポーズ」ということが十分理解されている犬の場合は、ご褒美を毎回上げる必要がありません。成功率が９割を超えてきたら、部分強化に切り替えていきましょう。ここで、部分強化に切り替えず、ご褒美を一切与えなくなるとどうなるでしょう？

実は、消去の理論が働いてしまい、コマンドに従わなくなるということが怒ってしまうんです。つまりこれまで一生懸命学習させた「オスワリというコマンド＝オスワリのポーズ→ご褒美がもらえる」という関係性が弱くなってしまうということです。消去については以下の記事を参照ください。

せっかく学習させたことをキープしたい、けどいつもいつもご褒美を与えるのは大変、というときは、部分強化の手法を使って「数回に一回」「何時間後に一回」なんていうふうに、ご褒美を与える頻度を減らしていくわけです。そうすると、犬からすると、いつご褒美がやってくるかわからないけど、ご褒美がもらえるかもしれない！という期待感で、学習した条件がキープされることがわかっています。

Tip
この部分強化も急に頻度を減らすわけでは有りません。最初は２回に１回から始めて、３回に１回、５回に１回、１０回に１回などと頻度を下げていくと、より犬の期待感が持続すると言われています。また、これは人間も一緒で、射幸性を煽るなんて言い方をしますが、ギャンブルでは毎回ご褒美（大当たり）が出るわけではなく、たまにしか出ませんよね。それでも依存症という病があるくらいで、たまに当たりが出るほうが、行動が持続されやすいんです。毎回自動的に機械的にご褒美がもらえるのが続くとそれが当然となってしまい、ご褒美（当たり）がでなくなると途端に興味がなくなってしまうんです。

３．部分強化の種類

「部分強化ではたまにあげるんですよ」と聞くと、だいたい皆さんは「何回に１回」などの頻度を思いつくと思います。実はこの間欠強化には大きく分けて６種類があるんです。まず頻度の条件は以下の３パターンあります。

①比率スケジュール
②時隔スケジュール
③持続スケジュール

さらにこの①〜③が固定なのか、変動スケジュールなのかという違いがあり、全部で６種類となるわけです。

①−a　固定比率スケジュール
①−b　変動比率スケジュール
②−a　固定時隔スケジュール
②−b　変動時隔スケジュール
③−a　固定持続スケジュール
④−b　変動時隔スケジュール

それぞれ詳しく見ていきましょう。

①−a　固定比率スケジュール

何回に１回というタイミングでご褒美（強化子）を与えます。２回に１回と決めたら、１回目は与えない、２回目は与える、３回目は与えない、４回目は与えない、こうやって２回成功したら１回ご褒美という固定化した比率でご褒美を与えるスケジュールということです。

これは飼い主さんにとっては明快なルールで非常にやりやすいのですが、犬が「二回目しかどうせくれないんでしょ」と学習してしまうことがあります。そこで上級者におすすめしたいのは変動比率スケジュールです。

**

①−b　変動比率スケジュール**

変動比率スケジュールの場合は「平均で○回に１回」と決めるやり方です。平均で２回に１回と決めたのであれば、１回目は与えない、２回目は与える、３回目は与える、４回目は与えない、５回目、６回目は与えない、７回目、８回目は与えるのように、平均したら２回に１回ご褒美を与えるやり方です。こうすると、犬はいつご褒美がくるかわかりませんよね。この変動費率スケジュールのほうが、固定比率よりも犬にとってのギャンブル性が高まり、毎回学習した行動を見せてくれる、習慣が維持されやすいといわれています。

②−a　固定時隔スケジュール

時間間隔を固定化して強化するスケジュールのことです。例えば２０分と時間間隔を決めたら、最後に「オスワリ」に成功してから、２０分間はどんなにオスワリをしても、ご褒美はあげません。２０分経過して、初めて「オスワリ」のポーズを取ったらご褒美を与えます。これはかなり飼い主さんも無意識のうちに使っているんじゃないかな、と思います。

例えば、何時にご飯をあげるというのが決まっていたとします。犬は時間がわかっているのか、ご飯をあげる時間が近づくとそわそわして、催促してくることがありますよね。これは、ある程度時間が相手から催促するとご飯がもらえるという行動が学習されている、ということです。

②−b　変動時隔スケジュール

この固定と変動の違いは①で説明したことと同様になりますが、時間間隔が「平均で〇〇分」経過してから初めて強化するというものです。ご飯をあげるのが定刻でなくとも、だいたいの時間帯が決まっているときはこの学習がされていますね。いつもは７時だけど、あるときは６時だったり、８時だったり、７時半だったり、６時半だったりする。前回ご飯を食べてから平均１０時間の間は「催促してもご飯をあげない」のですが、平均１０時間が経過して初めての催促の結果、ご飯を与えるということをすると、この学習が維持されます。

③−a　固定持続スケジュール

持続スケジュールというのは「何分間その行動が維持された」というときに初めてご褒美を与えます。通常オスワリというコマンドはお尻をつけて、オスワリのポーズになったらご褒美を与えますが、この行動が１分間持続した場合にだけご褒美を与えるというスケジュールです。途中で立ち上がってしまったり、あるきだしてしまった場合は、残念ながら失敗です。ご褒美を与えることはできません。１分と決めたら１分その行動が持続したときにだけご褒美をするやり方なんです。この持続スケジュールというのは、特に「オスワリマテ」「フセマテ」など、静かにしているようなトレーニングのときに使います。他にもクレートやケージの中で静かに過ごせているときなんかに使っても有効です。

ただ、１分オスワリマテが成功したら、ついつい、２分、３分、５分、１０分と伸ばして行きたくなりますよね。実はこのように徐々に伸ばしていくと、犬は飽きてしまったり、どうせ次はもっと長くなるんでしょ、とモチベーションが続かないことがあります。人間もそうですよね。苦手な計算を５分集中して解くのはできても、次は１０分、３０分、１時間と伸ばされていくと、最後はどこまで頑張ればいいんだー！！ともう限界が来てしまいます。

ここで、おすすめしたいのが変動持続スケジュールです。特に行動を長く持続できるようにトレーニングするときにはぜひ使ってみてください。

③−b　変動持続スケジュール

固定では何分経ったらご褒美というようにルールを決めますが、変動持続スケジュールでは「平均で何分」と決めます。例えば３分オスワリマテを持続させるようなトレーニングをしたいのであれば、１回目は２分、２回目は４分、３回目は１分、４回目は５分、というように平均で３分行動が持続していたらご褒美を与えるというやり方です。固定持続スケジュールだと、毎回３分行動を維持しないとご褒美がもらえなかったのが、変動スケジュールだと１分でもらえることもあれば、５分続けなきゃもらえないこともあるというわけです。すると、これが平均４分、５分になっていっても変わらず短い時間でもらえることもあるので、「マテ」の時間が伸びていることに気づきにくいという特徴があります。

４．まとめ

オペラント条件づけでご褒美を使ったトレーニングを始めたものの、おやつやご褒美の辞め時がわからなくなっているという方は、まずは連続強化から部分強化に切り替えてみてください。決して褒めるのをやめてはいけませんよ！たかがオスワリ、されどオスワリ。一番単純なコマンドであっても、たまには褒めるのを忘れないでください。その上でコマンドの種類やトレーニングしたい内容に沿って、どの部分強化スケジュールが有効か、考えてみてください！

■Yokohama Dog Academyでは

このような学習理論、犬の心理学をもとにしたトレーニングおよび問題行動改善を行っています。問題行動修正、しつけ、なんて聞くと、とっても怖いしつけを想像される方がいらっしゃるのですが、実はワンちゃんもしっぽぶんぶんしながら、トレーニングをしていく方法があるんです。そんな方法を知りたい、やってみたいという方、お申込みはこちらから！お気軽にご質問ください。