Psychologia ma generalnie spory kłopot z replikowalnością swoich badań.
Dość trudno powtórzyć podobny wynik eksperymentu w innym miejscu i czasie, z udziałem innej grupy badanych i innych badaczy, albo choćby trochę zmieniając warunki. Jest wiele powodów, że tak się dzieje. Warto pamiętać, że o ile nauki ścisłe opierają się na stałych prawach wynikających z matematyki i fizyki, o tyle nauki społeczne nie mogą wywodzić się z analogicznych “praw psychiki”. W efekcie są one raczej zbiorem spostrzeżeń, które mogą zmieniać się w czasie i tracić aktualność w różnych kontekstach.
Mimo to w przestrzeni publicznej funkcjonuje kilka takich quasi praw i wśród osób interesujących się trochę psychologią są one traktowane jak pewniki.
Jednym z nich jest tzw. efekt Duninga – Krugera.
Amerykański matematyk Eric C. Gaze podważa jednak istnienie tego efektu i sugeruje, że jest on po prostu artefaktem badawczym, wynikającym z błędu w rozumowaniu eksperymentatorów. Zanim jednak omówimy to dokładniej, pozwólmy mu wyjaśnić, na czym ma sam efekt polegać.
Gaze opisuje to tak:
“John Cleese, brytyjski komik, podsumował kiedyś ideę efektu Dunninga–Krugera w następujący sposób: „Jeśli jesteś naprawdę, naprawdę głupi, to nie możesz wiedzieć, że jesteś naprawdę, naprawdę głupi”.” (…) Jako profesor matematyki, który uczy studentów wykorzystywania danych do podejmowania świadomych decyzji, znam typowe błędy popełniane przez ludzi w kontaktach z liczbami. Efekt Dunninga-Krugera polega na tym, że najmniej wykwalifikowani ludzie przeceniają swoje umiejętności bardziej niż ktokolwiek inny. Na pierwszy rzut oka brzmi to przekonująco i tworzy doskonałą komedię. Ale moi koledzy i ja sugerujemy, że podejście matematyczne użyte do pokazania tego efektu może być niepoprawne.”
Argumentowanie przez powołanie się na efekt Duninga – Krugera bywa bardzo częste w debatach, w których ktoś zaprzecza oficjalnym opiniom podawanym przez czołowych ekspertów.
Częstym argumentem jest wtedy sugerowanie, że znacznie przecenia on własne możliwości zrozumienia problemu i dostrzeżenia eksperckiego błędu, właśnie w oparciu o to psychologiczne prawo. Po prostu zdaje mu się, że na czymś się zna, ponieważ wie zbyt mało, by zobaczyć jak wiele mu brakuje by się móc sensownie wypowiadać.
Czy jednak naprawdę jest tak, że ludzie im mniej się na czymś znają, tym bardziej nie umieja zauważyć, że mówią o czymś o czym nic nie wiedzą? Arogancki głupiec to stereotypowa postać, która bardzo działa na wyobraźnię, dlatego efekt Duninga Krugera szybko wszedł do kultury popularnej. Jednak Eric C. Gaze pokazał, że autorzy tego badania w rzeczywistości udowodnili coś całkiem innego, niż im się zdawało. Po prostu źle zinterpretowali dane.
Oryginalny eksperyment polegał na zadaniu studentom kilku zadań matematycznych, a następnie na poproszeniu ich, by ocenili sami jak sobie z zadaniami poradzili na tle średniej w ich grupie.
Eric C. Gaze pisze o tym tak:
Istnieją trzy powody, dla których analiza Dunninga i Krugera jest myląca.
Najgorsi zdający również najbardziej przeceniają swoje wyniki, ponieważ są po prostu najdalej od uzyskania doskonałego wyniku. Ponadto najmniej wykwalifikowani ludzie, jak większość ludzi, zakładają, że są lepsi niż przeciętni. Wreszcie, osoby o najniższych wynikach nie są znacznie gorsze w szacowaniu swoich obiektywnych wyników.
Aby ustalić, że efekt Dunninga-Krugera jest artefaktem projektu badawczego, a nie ludzkiego myślenia, moi koledzy i ja pokazaliśmy, że można go wyprodukować przy użyciu losowo generowanych danych.
Najpierw stworzyliśmy 1 154 fikcyjne osoby i losowo przypisaliśmy im zarówno wynik testu, jak i ranking samooceny w porównaniu z ich rówieśnikami.
Następnie, tak jak Dunning i Kruger, podzieliliśmy tych fałszywych ludzi na ćwiartki na podstawie ich wyników testów. Ponieważ rankingi samooceny zostały również losowo przypisane do wyniku od 1 do 100, każdy kwartał powróci do średniej 50. Z definicji najniższy kwartał przewyższy średnio tylko 12,5% uczestników, ale z losowego przypisania wyników samooceny będą uważać się za lepszych niż 50% zdających. Daje to przeszacowanie o 37,5 punktu procentowego bez udziału człowieka.
Udowodnienie ostatniego punktu – że najmniej wykwalifikowani mogą odpowiednio ocenić własne umiejętności – wymagało innego podejścia.
Mój kolega Ed Nuhfer i jego zespół dali uczniom test umiejętności naukowych składający się z 25 pytań. Po udzieleniu odpowiedzi na każde pytanie uczniowie oceniali swoje wyniki w każdym pytaniu jako „udało mi się”, „nie jestem pewien” lub „nie udało się”.
Pracując z Nuhferem, odkryliśmy, że niewykwalifikowani studenci są całkiem dobrzy w szacowaniu własnych kompetencji. W tym badaniu niewykwalifikowanych studentów, którzy uzyskali wyniki w dolnej ćwiartce, tylko 16,5% znacznie przeceniło swoje umiejętności. I, jak się okazuje, 3,9% znacznie zaniżyło swój wynik. Oznacza to, że prawie 80% niewykwalifikowanych studentów było dość dobrych w szacowaniu swoich rzeczywistych umiejętności – daleko od idei wysuniętej przez Dunninga i Krugera, że niewykwalifikowani konsekwentnie przeceniają swoje umiejętności.
Okazuje się więc, że tak naprawdę większość ludzi potrafi zauważyć, kiedy na czymś się nie zna i umie ocenić granice swojej kompetencji.
Link do oryginalnego artykułu
