Uni Mainz: Chatbots geben sich gewissenhafter als Menschen – doch wir entlarven sie besser

Welche „Persönlichkeit“ hat eigentlich ein Chatbot? Ich finde die Frage spannender, als sie zunächst klingt – schließlich reden viele von uns inzwischen täglich mit solchen Systemen. Ein Team des Psychologischen Instituts der Johannes Gutenberg-Universität Mainz hat sich das genauer angesehen und die Ergebnisse in Scientific Reports veröffentlicht. Die Pressemitteilung der Uni Mainz fasst die Studie zusammen.

Sieben Modelle auf der Couch

Sophie Körner, Sarah Osterholz und Boris Egloff ließen sieben Sprachmodelle – darunter ChatGPT-4o, Llama-3, Gemma 2 und Gemini 2.5 – sowie 70 Menschen sich selbst beschreiben, und zwar auf Deutsch. Dafür gab es psychologische Fragebögen etwa zu den Big Five und zum Selbstwert, dazu offene Fragen nach Interessen, Zukunftshoffnungen oder dem Verhalten unter Stress. Jedes Modell wurde zehnmal befragt.

Das Ergebnis: Die Modelle schrieben sich recht stabile Profile zu und stellten sich als gewissenhafter, verträglicher und emotional stabiler dar als die menschlichen Teilnehmenden. Ehrlich gesagt überrascht mich dieses etwas zu glatte Selbstbild nicht.

Wer erkennt wen?

Danach bewerteten zehn Menschen und sechs Chatbots alle Texte. Beide Gruppen konnten Persönlichkeitsmerkmale ableiten. Bei der Frage, ob ein Text von Mensch oder Maschine stammt, lagen die Menschen mit 83 Prozent Trefferquote aber deutlich vor den Chatbots mit 67 Prozent. Als Warnsignale nannten die menschlichen Beurteilenden vor allem Länge und eine gestelzte, technisch-analytische Sprache. Menschliche Texte drehten sich dagegen häufiger um Freizeit, Gefühle und Beziehungen.

Mein Fazit

Das Team sieht mögliche Anwendungen in Diagnostik und Personalwesen, mahnt aber zur Vorsicht, weil Modelle menschliche Urteilsverzerrungen mitlernen. Das unterschreibe ich: Eine niedrigschwellige Ersteinschätzung mag praktisch sein, aber über Bewerbungen oder psychologische Befunde sollte kein Algorithmus allein entscheiden.