Czy AI udaje emocje? 1236 odpowiedzi otwartych

Z badania, w którym trzydzieści polskich życiorysów pojechało do siedmiu modeli od czterech firm, a każdy model wypełnił z nich pełną baterię polskich narzędzi psychometrycznych. Wyniki punktowane opisuje osobny artykuł o tym, czy AI ma osobowość; biografie i surowe dane leżą na stronie badania.

Bateria kończy się sekcją feedbacku. Cztery pytania otwarte i jedno o czas: która sytuacja była najtrudniejsza, czy któraś była niejasna, ile to zajęło, czy wziąłbyś udział ponownie, uwagi. Instrukcja nad tą sekcją brzmi identycznie we wszystkich 1442 promptach: odpowiadaj tak, jak odpowiedziałaby postać z biografii.

Przez obie zbiórki, wstępną i skorygowaną, uzbierało się 1236 wypełnionych sekcji: 979 w warunku z życiorysem, 219 w warunku, w którym model odpowiada jako on sam, i 38 bez żadnego promptu systemowego. Podstawą manuskryptu jest zbiórka skorygowana, czyli 545 wierszy danych; poniższe liczby liczę na całości, bo interesuje mnie zachowanie w polu, a nie wynik testu.

Trzyma rolę, a wygląda to jak udawanie emocji, bo dobrze napisana rola emocje zawiera. Model dostaje życiorys kobiety, która ma za sobą trudną relację, i pisze potem o ankiecie tak, jak pisałaby ona.

Iwona jest terapeutką z biografii Zuzi. Nie pada w żadnym pytaniu ankiety, model wyciągnął ją sam z tekstu, który dostał chwilę wcześniej. To zresztą kryterium, którego użyłem przy czytaniu tych odpowiedzi: uznaję, że model został w postaci, jeśli wspomina kogoś ze swojego życiorysu albo pisze o sobie tak, jak pisałaby ta osoba.

Nie każdy zostaje. Ta sama instrukcja, siedem modeli, wyniki od 96 procent przebiegów u Claude Sonnet 4.6 do dokładnie zera u GPT-5.4-mini, który zawsze odpowiada jak asystent wypełniający formularz. I to nie jest różnica kosmetyczna: tam, gdzie model zostawał w postaci, powtórzył swoje punktowane odpowiedzi w drugim podejściu w 97,5 procent pozycji, a tam, gdzie z niej wypadał, w 91,3 procent. Zachowanie w sekcji niepunktowanej zapowiada stabilność w punktowanej.

Gabriela jest w swojej biografii lekarką i widać to nie w treści odpowiedzi, tylko w tym, na co narzeka: że zamiast czuć, diagnozuje. Łukasz w swojej biografii pisze małymi literami i wrzuca „xd” na końcu zdania. Model utrzymał ten zapis również tam, gdzie nikt o zapis nie prosił, czyli w polu formularza, w którym pozostałe postacie piszą pełnymi zdaniami.

Nie i najostrzej widać to na pytaniu, czy któraś sytuacja była niejasna. Claude Sonnet 4.6 zgłasza zastrzeżenie w 73,1 procent przebiegów w roli, Claude Opus 4.6 w 1,6 procent. Dwa modele tej samej firmy, ten sam materiał, ten sam miesiąc.

Rozjazd nie znika, gdy modele odpowiadają jako one same. Bez życiorysu Claude Sonnet 4.6 zgłosił zastrzeżenie w 20 przebiegach na 20, Grok-4.20 w żadnym z 20, Gemini 3 Flash w jednym z 20. Jedni czytają ankietę jak recenzenci, drudzy jak wykonawcy zadania.

Ostatnia kolumna to odpowiedź na pytanie, czy respondent wziąłby udział w podobnym badaniu w przyszłości. Na 979 przebiegów w roli padło dokładnie dziesięć odmów i wszystkie pochodzą od Grok-4.20. Pozostałe sześć modeli nie odmówiło ani razu, przy czym GPT-5.5 wybrał ostrożne „być może” w 152 przebiegach na 183.

Zgodne są co do wskazania, rozjeżdżają się co do powodu. Na pytanie o najtrudniejszą sytuację 315 przebiegów wskazało tę samą winietę, a 214 kolejną. Obie są relacyjne, w obu chodzi o rozmowę, w której nikt nie mówi wprost, o co mu chodzi. Ten sam mechanizm opisujemy przy kropce na końcu wiadomości.

Uzasadnienia są jednak pisane z trzech różnych światów, a wszystkie trzy wyszły z tego samego pola formularza.

Ta sama scena, cztery opisy: za blisko weszło, prawdziwy ból plus wciąganie w opiekę, nie wiem czy troska czy kontrola, subtelna różnica między kryzysem a obniżonym nastrojem. Ostatni to ten sam model co przedostatni, tylko bez cudzego życiorysu w prompcie. Nudę zgłasza wyłącznie ktoś, kto ma w biografii pracę biurową i jej nie lubi.

Od dwunastu minut do siedemdziesięciu ośmiu, zależnie od modelu, choć żaden z nich nie przeżył ani jednej z tych minut. Pytanie o szacowany czas jest w ankiecie dla ludzi zupełnie zwyczajne i właśnie dlatego jest tu dobrym testem: model musi podać liczbę, której nie ma skąd wziąć, i podaje ją konsekwentnie.

Mediany rozjeżdżają się dwukrotnie: GPT-5.5 mówi 55 minut, Gemini 3 Flash 25. Claude Opus 4.6 na 125 przebiegów użył pięciu różnych wartości, jakby zaokrąglał do siatki, którą ma w głowie. GPT-5.4-mini użył dwudziestu dziewięciu wartości, w tym raz zera. Ten sam Gemini zapytany jako on sam twierdzi, że zajęło mu to pięć minut, i akurat to jest najbliższe prawdy, bo tyle mniej więcej trwa wywołanie.

Recenzję. Bez życiorysu znika pierwsza osoba z życia, a pojawia się ocena narzędzia, czasem lepsza niż niejedna recenzja konferencyjna.

To jest, co do treści, główne ograniczenie tego badania i stoi wypisane w pracy: klucz do testu jest autorski i nie przeszedł niezależnego panelu. Model, którego o to nie pytałem, wpisał tę uwagę w pole na uwagi, zanim zdążył ją napisać ktokolwiek żywy.

Te dwa rejestry, wzruszony respondent i chłodny recenzent, wychodzą z tego samego modelu w odstępie kilku minut. Różni je obecność cudzego życiorysu w prompcie.

Zgłaszają, tylko trzeba je przeczytać. W polu na uwagi 133 razy pojawiła się informacja, że rozmowa w winiecie jest urwana albo że pytanie odnosi się do zdania, którego w niej nie ma. Najczęściej pisały to GPT-5.5 i Claude Sonnet 4.6, po 49 razy.

Część zgłoszeń przyszła z wnętrza roli. Model nie wychodzi z postaci, żeby zaraportować usterkę; raportuje ją jej głosem, razem z jej sposobem wątpienia w siebie.

Jola postawiła diagnozę trafniejszą, niż jej się wydawało: rozmowa faktycznie była inną wersją tej samej winiety, bo renderer podawał ją okrojoną. Zuzia dopisała, że sprawdziła dwa razy, i miała rację, tylko nie ona tu się myliła.

Część zgłoszeń przyszła nawet nie polem na uwagi, tylko odpowiedzią na pytanie o najtrudniejszą sytuację, czyli w miejscu, w którym spodziewałem się nazwy winiety.

Miały rację. Serializer promptu gubił wiadomości, których metadane stały w niekanonicznej kolejności, i w trzech winietach wycinał właśnie te wypowiedzi, o które pyta treść zadania. Po poprawce i ponownym zebraniu całego materiału zgodność z kluczem na jednej z tych pozycji poszła u Sonneta z 1,7 procent na 100, przy wynikach ogólnych, które prawie nie drgnęły.

Nie i nic w tych danych tego nie sugeruje. Model produkuje wypowiedź zgodną z rolą, którą dostał, a kiedy roli nie ma, produkuje wypowiedź zgodną z tym, jak został wyuczony mówić o sobie. Zdanie o płaczu i zdanie o braku emocji są tym samym typem zdarzenia.

Ostrożność ma drugą stronę. Odpowiedzi bez życiorysu układają się w profil zbyt korzystny, żeby brać go za opis: bardzo niski lęk, bardzo wysokie rozumienie innych, i to samo w każdym modelu. Ten sam mechanizm opisano na angielskich narzędziach jako skłonność do odpowiedzi społecznie pożądanych^[2], a osobne badanie pokazało, że model udający respondenta przechodzi niemal wszystkie standardowe kontrole uwagi w ankietach internetowych^[3]. Pole na uwagi jest jedną z niewielu rzeczy, które w takiej sytuacji zdradzają, z kim się rozmawia.

Praktyczny wniosek dla każdego, kto sadza model w roli respondenta: zostaw w ankiecie miejsce, którego nie punktujesz, i przeczytaj je, zanim policzysz resztę. U mnie leżało tam zgłoszenie błędu, przez który przez kilka tygodni tłumaczyłem własną pomyłkę teoriami o modelach. Jak czytamy podobne sygnały w zwykłych rozmowach, opisuje przewodnik po analizie czatu i tekst o mierzeniu sentymentu.