【マルチレベル】データに階層性があるかどうかの合意指標（rwg）を掘り下げた、マルチレベル分析の必読文献！（Biemann et al, 2012）
久々の投稿です。最近、データ分析の沼にはまっております。
適切な分析をしないと手戻りが大きいこと、「Mplus」という新たなツールがなかなか難しいこと、そして、自分の行いたい分析にピタッとはまる事例が少ないことから、試行錯誤の日々を送っております。
そんな日々の中で発見した、リーダーシップをマルチレベルで捉えて研究する際の指標について、誤用の可能性にも触れながら解説している論文を発見したので紹介します。
（相当マニアックです）
Biemann, T., Cole, M. S., & Voelpel, S. (2012). Within-group agreement On the use (and misuse) of rWG and rWG (J) in leadership research and some best practice guidelines. The Leadership Quarterly, 23(1), 66-80
どんな論文？
この論文は、マルチレベル分析を行う際の前提として、そもそもデータが集団レベルと個人レベルに分けられるかを判断するための合意指標rwg/rwg(j)の重要性や誤用、判定基準について提案するものです。
マルチレベル分析とは、乱暴に纏めると、ある変数間の関係性が「所属するグループの影響」なのか「個人の影響」なのかを分けて分析することです。
どちらの影響かを明らかにしないまま分析すると、例えば、グループの影響が大きいのに、個人に対する実践施策を講じてしまう、といったミスリードにつながってしまいます。
マルチレベル分析の解説は、過去の投稿にも記載していますので、そちらも参考までに貼り付けておきます。
本論文によると、リーダーシップ研究においても、2000年代後半頃からマルチレベル分析の必要性が提起され始めているようです。
例えば、メンバーから収集した調査データをグループ単位に集約し、平均を取ることで、上司のリーダーシップなどの数値にする、といった作業を行った上で分析したりします。
メンバーから収集したデータは、そのグループの影響と、個人が上司に対する認識の2つが入れ子になっています。グループの影響というのは、グループ内の意見の合意度合い（つまり、類似度合い）によって示されます。
すると、類似性の高いグループとそうでないグループで、上司のリーダーシップに対する認識が異なるため、これらの影響を適切に分析する必要が出てくるわけです。
その類似性の度合いを測定するための一つの指標が、rwg（ｒが大きく、wgが小さく表記されます）です。合意指標と呼ばれます。
このrwgが1に近づくほど、グループ内の意見の合意度が高く、0に近づくほど、合意度が低い（つまりグループの影響はない）とされます。そして、あくまで経験的な判断基準として、Jamesら（1984）の0.7以上であれば、グループ内の合意が一定程度ある、となっているようです。
著者らは、このrwgに関する考察・検討を行い、0.7以上という判断基準に頼らないこと、また、この指標のみに依存せず、別の指標（ICC：Inter-class correlation）などと併用することが重要、と結論付けています。
なぜ、0.7以上という判断基準に頼るべきでないのか
第一に、この0.7以上という基準は、Jamesというrwgによる合意指標を提起した研究者の「経験的」な基準である点が挙げられます。しかし、James氏のどの論文を辿っても、0.7という数値は明記されておらず、他の論文（George, 1990) で「JamesとのPeasonal Communication, February 4,
1987」によれば0.7くらいがよい、と言及されているのみです。
（そんなのあり？！）
第二に、rwgの計算方法の「前提」に注意すべき点があるようです。rwgを導くためには、回答者間に類似性が一切ないと仮定した場合（つまり、グループを無視して組織全体でランダムに回答した場合と一致する場合）を仮定した回答のばらつき度合い、つまり期待分散を計算する必要があります。
この、類似性が一切ないという仮定が問題のようです。この仮定は、一様分布と呼ばれる、ある区間における全ての事象の起こる確率が等しく生起する分布のことで、サイコロの目の例などでよく用いられます。
ただ、人にはバイアスがあり、回答が一様に分布することは極端な例です。そのため、この分布の場合のrgwのみならず、他の代替の分布（2－3つ）も用いて計算し、rwgの推定値の範囲を推定するのが望ましい、と主張されています。
代替の分布はどう決めるかというと、過去の先行研究（マルチレベル）を調査し、その時に使用された分布もセットで検討するのが適切である、と著者らは提起しています。
rwgとrwg(j)の適切な使い方や解釈
多くの論文で、合意指標としてrwgという表記をなされることが多いのですが、実はrwgではなく、rwg(j)を使用するのが適切な場合もあります。以下が、使い分けです。
rwg：単一の項目で測定している尺度に適用。
rwg(j)：多項目で測定している尺度に適用。複数の設問で構成される変数はこちらを使う
また、著者らは、マルチレベルで分析を行うリーダーシップ研究者は、集計が正当かどうかを判断する際に行ったすべての決定を報告すべきであり、読者が集計データの質を十分に評価できるように、各決定の背後にある理由を記述すべきとして、rwg(j)の報告におけるテンプレートも提示しています（便利！）。
rwg(j)-uniform：一様分布を前提にしたもの。0.7を超えやすい
rwg(j)‐measure-specific：他と比較するため、分布の形状を想定（Shape部分に、急なのか穏やかなのか、傾きの違いを想定）し、その際の値における期待分散や平均、標準偏差やF分析結果を見たもの。（どの程度の傾きが適切かは、先行研究に従う）
このように、合意指標rwgは、経験的基準で0.7以上であればよい、と決め打ちするのではなく、先行研究をもとにした分布形状を踏まえ、2－3の分布の場合におけるrwg値とも比較して、rwgの取り得る範囲を示すのが有効と言えそうです。以下が引用です。
研究者は、恣意的な「砂の中の一線」を引くのではなく、次のような観点から評価者間一致を検討すべきである：「一致しない」＝0.00～0.30、「弱い一致」＝0.31～0.50、「中程度の一致」＝0.51～ 0.70、「強い一致」＝0.71～0.90、「非常に強い一致」＝0.91～1.00である（LeBreton & Senter, 2008; Brown & Hauenstein, 2005も参照）。
感じたこと
この論文に行き着いたきっかけは、rwgの計算方法（もっと言えば、期待分散の計算方法）がわからなかったことでした。Mplusでも他のツールでも計算結果が見当たらず、ネット検索してもハマるものがあまりなく、英語サイトにまで手を伸ばしてようやくたどり着いたのがこの文献です。
（1－2日、ここに時間を費やしました・・・）
なお、著者らは、rwgやrwg(j)を計算してくれるExcelツールまで準備してくれています！興味のある方は以下のページを参照ください。
＜備忘＞
本論文では、ICC(1)＝0.05というカットオフ値を示唆した論文（LeBreton＆Senter, 2008）と、ICC(1)＝0.01、つまり分散の1％のみがグループ内相関をシミュレートした論文（Bliese, 1998）を紹介し、詳細はこちらを参照するよう記載している。
この記事が気に入ったらサポートをしてみませんか？