Paradoks Steina

Paradoks Steina (także przykład lub efekt Steina) – rezultat w teorii estymacji i teorii decyzji, stanowiący, że przy oszacowywaniu więcej niż dwóch niezależnych parametrów jednocześnie istnieją specjalne łączne estymatory, które mają przeciętnie wyższą precyzję (rozumianą jako niższy ogólny błąd średniokwadratowy) niż średnie arytmetyczne parametrów w próbach z osobna czy dowolna inna metoda estymująca te parametry w izolacji. Wynik ten został odkryty przez Charlesa Steina w 1955 roku, choć zjawisko było wykorzystywane implicite już wcześniej w technikach wnioskowania bayesowskiego. Przykładowo, jeśli badacz chce oszacować miary zdolności kilku sportowców, może obliczyć dla każdej osoby zwykłą średnią liczbę punktów zdobytych w grach w trakcie jednego sezonu. Uzyska jednak wyniki, które są ogólnie precyzyjniejsze i pozwalają na trafniejsze prognozy, jeśli zastosuje względem każdej z takich średnich specyficzną poprawkę (tak jak np. w ). W przedstawionym przykładzie agregowane są dane cechujące się realnymi zależnościami, jednakże estymator J–S tego w żaden sposób nie wykorzystuje – paradoks Steina występuje w zbiorze dowolnych parametrów, a jego dowód nie zakłada ich zależności. Oznacza to, że ogólną precyzję szacowania zdolności sportowców zwiększy także estymowanie ich jednocześnie z zupełnie niepowiązaną zmienną, taką jak średnia cen samochodów na rynku. Rezultat opisano pierwotnie dla zmiennych o rozkładzie normalnym, występuje jednak także w niektórych innych rozkładach. Geometryczną intuicją ilustrującą sens paradoksu jest spostrzeżenie, że w przestrzeni kilkuwymiarowej relatywnie niewielkie przesunięcie zbioru oszacowań (obarczonych błędem losowym) w dowolnym zgodnym kierunku powinno w przeciętnym przypadku zmniejszyć błąd ponad połowy z nich. Efekt nie daje żadnej gwarancji, że jedno konkretne oszacowanie zostanie wskutek tego poprawione – działa na poziomie całego zbioru. Estymatory wykorzystujące efekt Steina nazywa się estymatorami minimalizującymi błąd średniokwadratowy (ang. shrinkage estimators). Zjawisko to jest związane ze statystycznymi technikami regularyzacji i używane pośrednio m.in. w regresjach z efektami losowymi, regresjach mieszanych, metodzie LASSO oraz w . Zauważono także matematyczną równoważność paradoksu Steina (który występuje w przestrzeniach co najmniej trójwymiarowych) z zachowaniem wielowymiarowego ruchu Browna (w którym każda trajektoria w takich przestrzeniach jest zbiorem nigdziegęstym).