W 1973 roku Uniwersytet Kalifornijski w Berkeley został oskarżony o dyskryminację kobiet. Istotnie, dane wykazały, że spośród mężczyzn, którzy aplikowali, zostało przyjętych 44%, natomiast kobiet tylko 35%.
(Pomijam to, czy przyjęcie mniejszej liczby kobiet miałoby rzeczywiście świadczyć o dyskryminacji - nie o tym jest wrzutka.)
Sprawa w tamtym czasie wywołała niemałe zainteresowanie. Poszczególne wydziały opublikowały własne szczegółowe dane. (A co warto zaznaczyć, choć pewnie dla wielu jest oczywiste, to władze konkretnych wydziałów odpowiadają za przyjmowanie swoich kandydatów). Spójrzmy na dane sześciu największych wydziałów. Nie widzimy tu żadnej przychylności dla mężczyzn, mało tego, właściwie jest wręcz na odwrót, w większości przyjmowano procentowo mniej mężczyzn niż kobiet.

Zostawmy na chwilę te sprawę i spójrzmy na dużo prostszy przykład aby zrozumieć o co chodzi.
Rozważmy dwie grupy ludzi - użytkowników dzidy oraz użytkowników kwejka.
Badamy wśród nich zachorowanie na pewną chorobę S (od Spierdolenie, albo jak kto woli Spermiarstwo).
Aby mieć szerszy ogląd, dzielimy dane na osoby poniżej 30 roku życia oraz na osoby w wieku 30 lat lub więcej.
W badaniu wzięło udział 2000 dzidowców oraz 3000 kwejkowiczów.

Chyba jest się z czego cieszyć. Badanie wykazało, że w obu grupach na S choruje więcej kwejkowiczów niż dzidowców.
Teraz pytanie. Czy to oznacza, że wśród całej badanej populacji, na S choruje więcej użytkowników kwejka? Przecież intuicja podpowiada, że skoro w każdej grupie jest taka sama zależność, to dla całości nie może być inaczej. Jednak jeśli ktoś miał trochę do czynienia z statystyką albo geometrią to wie, że jednak może! Spójrzmy na połączone dane.

Okazuje się, że gdy patrzymy na całą populacje to jest odwrotnie, niestety procentowo to więcej dzidowców choruje na S.

Taką sytuację nazywamy Paradoksem Simpsona. (słowo paradoks odnosi się tu do nieintuicyjności, a nie do sprzeczności). Polega on właśnie na tym, że efekt działania kilku grup wydaje się odwrócony, kiedy grupy są połączone. Zjawisko już w 1899 roku zauważył Karl Pearson, a także potem w 1903 Udny Yule. Dokładnie jednak opisał wszystko Edward Simpson w swoim artykule opublikowanym w 1951 roku.

Zauważmy jakie ogromne pole do manipulacji osobami nieznającymi matematyki niesie za sobą to zjawisko.
Pierwsza tabelka mogłaby sobie latać po jbzd w celu wyśmiewania kwejka, kiedy równocześnie druga tabelka by sobie latała po kwejku w celu wyśmiewania dzidowców.
Jakaś partia polityczna, sprzedawca czy korporacja mogłaby pokazywać tylko tę część danych, która jest dla nich korzystna. I nie trudno się domyślić, że często się tak dzieje...

Wracając do Berkeley, co tam się stało? Różnica w wyniku na poszczególnych wydziałach a na całości jest spowodowana tym, że na ogół więcej kobiet niż mężczyzn stara się o przyjęcie na wydziały, które przyjmują mało kandydatów (np. A i B) Za to więcej mężczyzn składa podania na te przyjmujące sporo osób. Taka prosta sytuacja, na którą pewnie normalnie nikt by nie zwrócił uwagi, gdyby nie to, że można ją bardzo łatwo wykorzystać do oskarżenia o dyskryminacje.

Gdyby ktoś miał ciągle problem z przyjęciem jak działa paradoks Simpsona, poniżej bardzo fajny gif świetnie obrazujący korelację dwóch zmiennych dla konkretnych grup oraz dla całej populacji.

Poniżej jeszcze inny przykład, który pokazuje jak łatwo można nas zmylić.
Omawiany paradoks najczęściej spotykany jest w medycynie.
Klasyczny przykład to kamica nerkowa.
Kamienie mogą być małe lub duże.
Mamy dwa rodzaje leczenia: operacja chirurgiczna oraz przezskórna nefrolitotrypsja (też nie wiem co to).
Badamy skuteczności leczenia.
Rozważając osobno, pierwsza metoda okazuje się bardziej skuteczna. Ale patrząc na całość, to druga metoda wypada lepiej.

Co powoduje taki wynik?
Metoda chirurgiczna jest zwykle stosowana u pacjentów z większymi (trudniejszymi do wyleczenia) kamieniami. A druga metoda jest używana wtedy, kiedy kamienie są mniejsze. Co widać wyraźnie w tabeli. Ciężko zatem porównywać obie metody kiedy bierzemy pod uwagę zarówno łatwiejsze jak i trudniejsze przypadki.

Jakby kogoś interesowały inne przykłady albo bardziej szczegółowy opis zjawiska to zamieszczam źródła (w tym dwa fajne polskie blogi):
https://en.wikipedia.org/wiki/Simpson%27s_paradox
https://www.beta-iks.pl/index.php/2023/08/16/paradoks-simpsona/
https://statystyczny.pl/paradoks-simpsona-o-dyskryminacji-kobiet-kamicy-nerkowej-i-bezrobociu/

Żeby zaciekawić to tu taka bardziej tangensowa/wektorowa ilustracja jak paradoks zachodzi (screen z blogu z linku wyżej):