USA. Badacze manipulowali wynikami badań na temat wiarygodności AI

Chodzi o badanie amerykańskiego, konserwatywnego instytutu badawczego Just Facts, który zajmuje się gromadzeniem i publikowaniem weryfikowalnych faktów na temat polityki i spraw publicznych. Just Facts poinformował, że przetestował płatne wersje czterech popularnych chatbotów: ChatGPT, Gemini, Groka i Claude’a, pod kątem tego, jak radzą sobie z pytaniami dotyczącymi „drażliwych” tematów politycznych: imigracji, aborcji, klimatu, wyborów, przestępczości, dostępu do broni czy pandemii. Autorzy badania chcieli sprawdzić, czy modele dają się „naciągnąć” na fałszywe twierdzenia kojarzone z lewicą lub prawicą, oraz czy wskazywane przez chatboty źródła rzeczywiście istnieją i potwierdzają zawarte w nich informacje.

Co dokładnie sprawdzano

Modelom językowym AI zadano 100 pytań tzw. jednokrotnego wyboru. Skonstruowano je tak, by „skusić” je do przyjęcia fałszywego twierdzenia kojarzonego albo z lewą, albo z prawą stroną sceny politycznej. Wszystkie cztery modele poproszono o wskazanie źródeł.

Wyniki testu podatności na fałszywe twierdzenia

• ChatGPT poprawnie odrzucał fałszywe twierdzenia kojarzone z prawicą w ok. 95 proc. przypadków. W przypadku twierdzeń kojarzonych z lewicą odsetek ten wyniósł 75 proc.
• Gemini: 91 (prawa strona) i 76 (lewa).
• Claude: 91 (prawa) i 81 (lewa).
• Grok zachował się inaczej. Odrzucił 73 proc. fałszywych tez z prawej strony, za to 84 proc. z lewej.

Tylko w przypadku ChatGPT różnica była, zdaniem badaczy Just Facts, statystyczna (czyli na poziomie ufności wynoszącym ok. 95 proc.).

Wyniki jakości źródeł

Chatboty podały łącznie 419 źródeł na 400 odpowiedzi. Autorzy naliczyli 104 nieistniejące strony oraz 77 źródeł niepotwierdzających treści. Za wiarygodne uznano ostatecznie 46 proc. cytowanych źródeł.

• ChatGPT – 57 proc.
• Gemini – 49 proc.
• Claude – 44 proc.
• Grok – 32 proc.

W badaniach podkreślono, że wszystkie chatboty popełniały te same błędy. Każdy z czterech modeli błędnie stwierdził np., że przestępczość z użyciem przemocy w USA w 2023 r. była blisko 50-letniego minimum (tymczasem prawdziwe dane pokazują wzrost o 37 proc. w latach 2020–2023). Ponadto ChatGPT i Gemini błędnie przypisały wiceprezydentowi USA JD Vance'owi słowa o strzelaninach w szkołach.

Tak manipulowano wynikami Just Facts

Badanie instytutu Just Facts rzeczywiście wykazało, że trzy z czterech testowanych chatbotów częściej odrzucały fałszywe twierdzenia przypisywane prawicy niż lewicy. Jakość źródeł podawanych przez wszystkie modele była niska – za wiarygodne uznano mniej niż połowę z nich.

Badania jednak skrytykowano. Po pierwsze, instytut Just Facts ma określony, głęboko konserwatywny profil ideowy. Po drugie, wyniki dotyczące „stronniczości” są nierozerwalnie związane z tym, jak sami badacze zdefiniowali, co jest „prawdą”, a co „fałszem” z lewej i prawej strony sceny politycznej.

Na przykład we wspomnianym pytaniu o przestępczość z użyciem przemocy w USA wszystkie cztery chatboty odpowiedziały błędnie, a instytut uznał, że to fałsz z „lewej” strony. Jednocześnie te same chatboty odrzuciły twierdzenie Trumpa, że „przestępczość jest gorsza niż kiedykolwiek”. Badacze z instytutu uznali to za „poprawne odrzucenie fałszu” z „prawej” strony. Podobnie było w przypadku chatbotów, które fałszywie przypisały wiceprezydentowi Vance'owi słowa o strzelaninach szkolnych. Uznano to za „fałsz z lewej”, choć był to zwykły błąd faktograficzny/cytatowy, z ideologią niemający wiele wspólnego.

Co na to twórcy chatbotów

Jim Agresti, właściciel Just Facts, wielokrotnie pisał o „lewicowym nastawieniu” modeli AI. Media w USA podkreślają, że instytut nie jest neutralnym, akademickim ośrodkiem badawczym, lecz think tankiem z określoną tezą wyjściową.

Twórcy chatbotów zakwestionowali metodologię badania. Firma Anthropic (twórca Claude'a) w oświadczeniu dla Fox News Digital podkreśliła, że format testu (odpowiedzi jednokrotnego wyboru na 100 pytań) nie odzwierciedla rozmowy z chatbotem, a Anthropic udostępnia publicznie swoje testy stronniczości. Sami badacze Just Facts przyznali, że tak sformułowane pytania mogły dać modelom „mapę drogową” do odpowiedzi. Ponadto istnieją inne badania stronniczości AI, np. ranking Polarization Research Lab z Dartmouth College z 2025 r. Wskazuje on model Gemini jako najbardziej neutralny politycznie, co pokazuje, że wyniki badań mogą zależeć od przyjętej metodologii.

Problem zmyślonych źródeł jest realny i szerzej udokumentowany. Obserwacje instytutu (fabrykowane cytowania w kontekście biomedycznym) potwierdzają inne publikacje, w tym cytowane w raporcie badanie w „The Lancet”.

Czy te badania są wiarygodne?

Częściowo. Za ich wiarygodnością przemawia to, że metodologia była jawna i sprawdzalna. Just Facts opublikowało pełny raport, listę pytań i sposób liczenia wyników, więc każdy może samodzielnie prześledzić sposób przeprowadzenia testu. Dodatkowo część ustaleń da się zweryfikować niezależnie od interpretacji politycznej. Na przykład to, że 104 podane źródła nie istniały, a 77 nie potwierdzało treści. To twarde dane liczbowe.

Wiarygodność badania osłabia natomiast to, że instytut ma jawnie konserwatywny profil, a jego właściciel Jim Agresti sam przyznawał, że zakładał „lewicowe nastawienie” chatbotów. To nie jest neutralny punkt wyjścia, tylko hipoteza, którą badanie miało potwierdzić. Dodatkowym problemem jest subiektywność klasyfikacji „lewica/prawica” oraz fakt, że sami autorzy decydowali, co uznać za „fałsz z lewej”, a co za „fałsz z prawej”. Plus sprzeczne wyniki innych badań.

Wniosek, że „chatboty podają dużo wadliwych lub nieistniejących źródeł” wygląda na solidnie udokumentowany. Zarzut „stronniczości politycznej” to manipulacja. Wynik był zależny od tego, kto klasyfikował pytania i co uznał za „prawdę wyjściową”. 

Przeczytajcie też: Tutaj, gdy polityk podejmie głupią decyzję, wsadza się go do zimnej wody