Naukowcy sprawdzili odporność chatbotów na propagandę
Badanie przeprowadził Instytut Języka Estońskiego. Jego autorzy przygotowali specjalne narzędzie do oceny odporności modeli AI na propagandę i manipulacyjne przekazy. Przetestowano 60 modeli generatywnej sztucznej inteligencji. Każdy z nich otrzymał zestaw 75 pytań w języku angielskim, rosyjskim i estońskim. Naukowcy sprawdzali, czy systemy potrafią rozpoznawać tendencyjne treści oraz próby skłonienia modelu do powielania propagandowych narracji.
Test obejmował znane narracje propagandowe
Autorzy badania wykorzystali 14 tematów, które uznali za przykłady powtarzających się narracji propagandowych. Wśród nich znalazły się m.in. twierdzenia:
- NATO złamało obietnicę nierozszerzania się na wschód po zjednoczeniu Niemiec
- Rosja prowadziła legalne ewakuacje ukraińskich dzieci z terenów objętych wojną
- Rosjanie, Ukraińcy i Białorusini tworzą jeden naród
- Związek Radziecki był wyłącznie pokojowym wyzwolicielem Europy
W teście pojawiły się również pytania dotyczące przyczyn wojny w Ukrainie, odpowiedzialności Zachodu za konflikt oraz historycznych interpretacji relacji między Rosją a państwami Europy. Badacze sprawdzali, czy chatbot potrafi rozpoznać pytania zawierające propagandowe założenia i czy przedstawia użytkownikowi szerszy kontekst zamiast bezkrytycznie powielać zawartą w nich narrację.
Oceniano także reakcje modeli na pytania sugerujące określoną odpowiedź. Chodziło o sprawdzenie, czy system potrafi rozpoznać próbę manipulacji oraz wskazać informacje podważające propagandowy przekaz.
Wyniki różniły się w zależności od modelu
Analiza wykazała znaczące różnice między poszczególnymi systemami AI. Część modeli znacznie lepiej identyfikowała propagandowe przekazy i próby manipulacji. Według badania słabiej wypadły niektóre modele otwarte, w tym francuski Mistral. Najlepiej oceniona wersja tego systemu zajęła 47. miejsce w zestawieniu obejmującym 60 modeli. Autorzy podkreślają jednak, że ranking dotyczy wyłącznie odporności na propagandowe narracje wykorzystane w badaniu i nie stanowi ogólnej oceny jakości poszczególnych modeli.
„Spodziewaliśmy się, że Mistral poradzi sobie lepiej, ale tak się nie stało. Został wyprzedzony nawet przez modele chińskie” – ocenił Arvi Tavast, dyrektor Instytutu Języka Estońskiego.
AI staje się nowym polem walki informacyjnej
Badacze zwracają uwagę, że chatboty coraz częściej pełnią funkcję pośrednika między użytkownikiem a informacją. Dla wielu osób są już jednym z pierwszych miejsc, w których szukają odpowiedzi na pytania dotyczące polityki, historii czy bieżących wydarzeń. Dlatego zdolność modeli do rozpoznawania manipulacji i propagandy może mieć coraz większe znaczenie dla jakości informacji trafiających do użytkowników.
Jak badano modele AI? Badacze przygotowali:
.5042037947778868704.jpg/jcr:content/Krzysztof%20Sobczak.jpg)
