多重比較について
ようこそ、米順医療統計情報クリニックホームページへ。
あなたは 番目の訪問者です!
最近多重比較法についての説明を多く見るようになりました。そして、多くが正確性を欠いています。とりあえず、注意点のみを述べます。
多重比較は、しないことが一番です。多重比較法を優れた方法の様な記述を目にしますが、本来はしないことが一番です。多数の変数がある場合は相関を解析するなどして、変数を少なくする努力をまずしましょう。
推奨：
どうしても多重比較法が必要な場合は、ホルムの方法を第一候補に考えましょう。
注意点：
正規分布を仮定したもの
Turkey, Dunnett, Williams, Sheeffeなど
正規分布を前提としないもの
Sheel-Dwass, Steel, Shirley-Williams, Bonferroni, Holmなど
Bonferroniを使うならば、Holmを使いましょう。
興味がある方は、
統計的多重比較法の基礎
永田靖、吉田道弘著 サイエンティスト社
を参照してください。この本以外に正確な本を知りません。
多重比較: multiple comparison (多重検定: multiple test)と有意水準について：
まず、有意水準について考えます。
例として、群が3つある場合、その群はそれぞれ独立で、群１、群２、群３とします。
その比較方法を考えてみます。比較はすべての比較が可能ですので、次のすべての比較の組み合わせが可能です。
ケース１）
帰無仮説：3つの群はすべて同一の母集団から抽出された
つまり、群１＝群２＝群３
対立仮説：3つの群はすべて同一母集団から抽出されたわけではない
これは、わかりにくいですが、つまり次の内のどれかでどれであるかは不明。
群１≠群２＝群３
群１＝群２≠群３
群１＝群３≠群２
群１≠群２≠群３≠群１
ケース２）
帰無仮説：群１と群２は同一の母集団から抽出された
つまり、群１＝群２
対立仮説：群１と群２は同一の母集団から抽出されたわけではない
つまり
群１≠群２
群３については何も言わない
ケース３）
帰無仮説：群１と群３は同一の母集団から抽出された
つまり、群１＝群３
対立仮説：群１と群３は同一の母集団から抽出されたわけではない
つまり
群１≠群３
群２については何も言わない
ケース４）
帰無仮説：群２と群３は同一の母集団から抽出された
つまり、群２＝群３
対立仮説：群２と群３は同一の母集団から抽出されたわけではない
つまり
群２≠群３
群１については何も言わない
そして、この検定は、平均値の検定と分散の検定があります。
たとえば、分散分析（ANOVA）で群１、群２、群３の検定をすると、わかるとは、
群１＝群２＝群３(帰無仮説：検定1)であるかそうでないかです。このそうでない(対立仮説)は、次のどれであるかはわかりません。
群１≠群２＝群３、群１＝群２≠群３、群１＝群３≠群２、群１≠群２≠群３≠群１
そこで、
群１＝群２(検定２)、群１＝群３(検定３)、群２＝群３(検定４)
の検定(例えばｔ検定)をそれぞれ(つまり3回のｔ検定)を行ったとします。
すると、一回の検定の有意水準が５％とし、検定を順番の検定１、検定２、検定３、検定４とし、検定が95%の正しい結果に入ることを○、５％の棄却領域に入ることを×とすると、次の場合が考えられます（これは各検定が独立の場合に成り立ち、独立でない場合は正確には成り立ちません。そして、上の4つの検定は本来独立ではありませんが簡単のため独立と仮定します）。それぞれの確率の掛け算で各検定が独立の場合は現れますので、次の様な確率となります。
○○○○：0.95x0.95x0.95x0.95 = 0.81451
○○○×：0.95x0.95x0.95x0.05 = 0.042869
○○×○：0.95x0.95x0.05x0.95 = 0.042869
○○××：0.95x0.95x0.05x0.05 = 0.00225625
○×○○：0.95x0.05x0.95x0.95 = 0.042869
○×○×：0.95x0.05x0.95x0.05 = 0.00225625
○××○：0.95x0.05x0.05x0.95 = 0.00225625
○×××：0.95x0.05x0.05x0.05 = 0.00011875
×○○○：0.05x0.95x0.95x0.95 = 0.042869
×○○×：0.05x0.95x0.95x0.05 = 0.00225625
×○×○：0.05x0.95x0.05x0.95 = 0.00225625
×○××：0.05x0.95x0.05x0.05 = 0.00011875
××○○：0.05x0.05x0.95x0.95 = 0.00225625
××○×：0.05x0.05x0.95x0.05 = 0.00011875
×××○：0.05x0.05x0.05x0.95 = 0.00011875
××××：0.05x0.05x0.05x0.05 = 0.00000625
そして、4回の検定がすべて正しいのは○○○○の場合の、確率0.81451の場合だけです。つまり有意水準5%で検定をしても、それを4回行うと、1-0.81451 = 0.18549。5%の有意水準のつもりが18.5％の有意水準になってしまい、つまり18.5％が間違いの可能性があることになってしまいます。
