Problem porównań wielokrotnych

Problem porównań wielokrotnych – w statystyce zjawisko występujące przy dokonywaniu estymacji lub weryfikacji hipotez statystycznych polegające na zwiększonym ponad nominalny poziom istotności ryzyku omyłkowego przyjęcia fałszywej hipotezy alternatywnej (popełnienia błędu I rodzaju) przy wykonywaniu wielu porównań tej samej grupy (rodziny) hipotez jednocześnie. Przynajmniej jeden z testów może przypadkiem, dzięki losowej zmienności prób, przekroczyć próg istotności z prawdopodobieństwem równym: Przy konwencjonalnym poziomie grupowe ryzyko popełnienia przynajmniej jednego błędu I rodzaju przekracza 50% już przy liczbie porównań wielokrotnych Przykładowo, choć w rzeczywistości w populacji badane zjawisko nie występuje w żadnym stopniu, badacz, który wykona kilkaset porównań bez odpowiedniej poprawki w podgrupach według płci, wieku, wykształcenia, klasy socjoekonomicznej, miejsca zamieszkania – np. w modelu 2 płcie × 5 grup wiekowych × 5 grup wykształcenia × 3 klasy socjoekonomiczne × 3 typy miejsca zamieszkania, co daje 450 porównań – znajdzie praktycznie na pewno bardzo wiele przypadkowo istotnych statystycznie różnic. Nawet jeśli badane zjawisko rzeczywiście istnieje, zaburzona kontrola błędu I rodzaju powoduje przeszacowywanie jego wielkości efektu. Andrew Gelman zwraca uwagę, że w wielu przypadkach nadmierna troska o błędy I rodzaju może być szkodliwa: badacz, który poprawnie przestrzega zasad wnioskowania częstościowego, powinien rozstrzygać o wartości odkrycia na podstawie mocy testu i wielkości efektu, a nie samej istotności statystycznej. Z drugiej strony, jeśli w danym obszarze badawczym błąd jest kosztowny (np. w medycynie), istnieje wiele sposobów opisu problemu i odpowiednich metod zaradczych. Problem porównań wielokrotnych spotyka się również w badaniach eksploracyjnych, oraz w komputerowej eksploracji danych (data miningu), jednak w zastosowaniach eksploracyjnych może być traktowany inaczej i rozwiązywany np. przez zaplanowanie w dalszych krokach , czy stosowanie sprawdzianu krzyżowego (kroswalidacji) oraz metod samowspornych (bootstrap). Problem w mniejszym stopniu dotyczy również metod strukturalnych i hierarchicznych technik bayesowskich.