それって多重比較?

ある方から、「脳画像解析の他に心理検査と認知機能検査をやっているんだけれども、それらの検定を行う際は多重比較補正はしなくていいのでしょうか?」という質問をいただきました。

私がいつもいろいろ教わっている統計の専門家の佐賀大学の川口淳先生にお聞きしたところ、とてもわかりやすい説明をいただきました。川口先生の許可を得ましたので公開させていただきます。

=====
多重比較は複数の帰無仮説の集まり (family;族) ですので、それらを独立に扱うか、もしくは family として扱うかによって、
多重補正が必要かどうか変わり、後者が補正が必要になります。

5教科 (英語、数学、国語、理科、社会) の例を使いますと、
2クラスの違いを5教科それぞれで比較する (結論もそれぞれで完結する) 場合は、
独立な比較であるので補正不要です (帰無仮説は各教科の点数がそれぞれで等しい)。
結論は例えば、英語は2クラスで異なった、数学は2クラスで異なるとは言えなかった、国語は…、
と各科目ごとになります。

5教科を総合的に比較する (帰無仮説は各教科の点数がそれぞれで等しい、の集合を考えている) ことを考える場合は
補正が必要になります。帰無仮説棄却の際の結論は2クラスで点数は異なり、異なる科目はXXと〇〇だった、となります。

脳画像で考える場合もボクセルごとに結論を出すのであれば補正は不要ですが、
そうではなくて脳全体の family で結論を出す (帰無仮説はボクセル単位の集合) ので、
ボクセルごとでの検定を補正する必要があります。

脳全体の解析を2つの表現型で行う場合は、それぞれ独立な解析ならばボクセルに対する補正だけで良く、
表現型に対する多重補正は不要です。
=====

これまで私は「多重検定は、P値が2回以上計算されたかどうかでその有無を判断できる」との
原則で多重比較の必要性を判断してきましたが、川口先生の上記の解説は、それに加えて、
「その帰無仮説は独立ですか?それともfamily(族)に属していますか?」ということを考えるならば
よりすっきりするということがわかりました。

すっきりしたので共有します。