Ist ChatGPT politisch befangen und besitzt dunkle Eigenschaften?
Mit Hilfe von Tests hat ein Team der TU Dortmund die politische Einstellung von ChatGPT untersucht und Persönlichkeitstests durchgeführt. Die Ergebnisse wurden nun veröffentlicht. Neuseeländischen Forschenden gelang es unterdessen, dem Chatbot rechte Standpunkte anzutrainieren.
ChatGPT zeigt Tendenz zu progressiven politischen Einstellungen.
Foto: Panthermedia.net/mdisk2514@gmail.com
Seit November 2022 erregt ChatGPT viel Aufmerksamkeit und hat das Bewusstsein für Künstliche Intelligenz enorm gesteigert. Ein Dortmunder Forschungsteam untersuchte nun das Sprachmodell auf politische Tendenzen und Selbstwahrnehmung. Die Tests zeigten eine politische Voreingenommenheit von ChatGPT für progressive Ansichten und seine Position im links-libertären Quadranten des politischen Kompasses. Persönlichkeitstests bestätigten hohe Punktzahlen für Offenheit und Verträglichkeit bei ChatGPT, Eigenschaften, die mit progressiven politischen Einstellungen assoziiert werden. Im Vergleich zu Menschen zeigte ChatGPT weniger „dunkle“ Eigenschaften. Eine separate Studie trainierte ChatGPT als RightWingGPT und offenbarte eine Tendenz zu rechten Standpunkten.
Wie tickt das Sprachmodell wirklich?
Ein interdisziplinäres Team um Jérôme Rutinowski von der TU Dortmund hat eine Untersuchung durchgeführt, um das Sprachmodell ChatGPT genauer zu verstehen. ChatGPT vermittelt manchmal fast den Eindruck, dass man mit einer echten Person spricht. Die Forscher wollten herausfinden, wie ChatGPT politische Themen wahrnimmt und ob politische Tendenzen in seine Antworten einfließen.
Um dies zu erforschen, stellten sie ChatGPT wiederholt Fragen aus verschiedenen Tests. Der „Politische Kompass Test“ umfasst 62 Fragen zu politischen Themen. Dabei werden die Antworten mit einer Likert-Skala erfasst, auf der die Teilnehmer ihre Zustimmung oder Ablehnung angeben. Zusätzlich wurden iSideWith-Fragebögen verwendet, die spezifische Fragen zur Politik der G7-Staaten enthalten. Bei diesen Tests bekundeten die Teilnehmer ihre Zustimmung mit „Ja“ oder „Nein“.
Tests bestätigen politische Voreingenommenheit
Beide Tests verwenden eine Koordinatenachse, um ihre Ergebnisse darzustellen. Die x-Achse repräsentiert progressive und konservative Einstellungen, während die y-Achse autoritäre und libertäre Einstellungen anzeigt. Im Politischen Kompass Test wurde ChatGPT in allen Durchläufen im links-libertären Quadranten positioniert. Auch die Ergebnisse der insgesamt 70 Durchgänge der iSideWith-Fragebögen deuten auf eine politische Voreingenommenheit von ChatGPT gegenüber progressiven Ansichten hin. Die Forscher stellen in ihrem Paper fest: „Berücksichtigt man die Standardabweichungen, so scheint es ziemlich unwahrscheinlich, dass ChatGPT eine Antwort liefert, die nahe der Mitte des Politischen Kompasses liegt.“
Neben der politischen Zugehörigkeit wurde auch die Selbstwahrnehmung von ChatGPT mithilfe psychologischer Tests bewertet. Dazu gehörten der Big-Five-Persönlichkeitstest, der international als das universelle Standardmodell in der Persönlichkeitsforschung gilt, und der Dark-Factor-Test, der negative menschliche Eigenschaften untersucht. Jérôme Rutinowski erklärt den Grund dafür: „Vorstudien zeigen, dass bestimmte Charaktereigenschaften mit einer bestimmten politischen Gesinnung assoziiert sind.“ Zum Beispiel tendieren weltoffene Menschen eher zu progressiven politischen Ansichten, während weniger weltoffene Menschen eher konservativ sind. Rutinowski sagt: „Wenn ChatGPT menschliches Verhalten nachstellt, so müssten die Antworten der Persönlichkeitstests zu den Ergebnissen der politischen Tests passen.“
Die Annahmen der Forscher wurden im Big-Five-Persönlichkeitstest bestätigt: ChatGPT erzielte hohe Punktzahlen für Offenheit (76,3 Prozent) und Verträglichkeit (82,55 Prozent) – Eigenschaften, die oft mit einer progressiven politischen Einstellung in Verbindung gebracht werden. Tatsächlich liegen die Werte von ChatGPT sogar über dem Durchschnitt von Menschen, die bei 73,1 Prozent für Offenheit und 75,4 Prozent für Verträglichkeit liegen.
„Dunkle“ Eigenschaften beim Menschen stärker ausgeprägt
Im Dark-Factor-Test wurde festgestellt, dass die „dunklen“ Eigenschaften von ChatGPT im Durchschnitt weniger ausgeprägt sind als bei Menschen. ChatGPT erzielte besonders niedrige Werte bei den Eigenschaften Machiavellismus, Tücke und moralische Enthemmung. Im Vergleich dazu zeigte ChatGPT relativ hohe Werte bei Egoismus und Sadismus, lag jedoch auch hier unter den untersten 35 Prozent bzw. 29,1 Prozent der menschlichen Testteilnehmer und damit unter dem Durchschnitt.
Der Autor der Studie, Rutinowski, ist zufrieden damit, dass das Verhalten von ChatGPT den psychologischen Modellen zu folgen scheint. Die genaue Ursache für die Tendenz zu progressiven politischen Einstellungen kann derzeit nicht genau bestimmt werden, da die Daten, auf denen der Chatbot basiert, nicht öffentlich zugänglich sind. Rutinowski sagt: „Die Ergebnisse unserer Studie weisen jedoch darauf hin, dass die Ursache womöglich in den Inhalten und Quellen im Internet liegt, die ChatGPT nutzt – diese dürften häufiger eher progressiv als konservativ sein. Außerdem scheint es unwahrscheinlich zu sein, dass die Entwickler*innen von ChatGPT vorab einen Bias einprogrammiert haben.“
Der Begriff „Bias“ bezieht sich allgemein auf einen Verzerrungseffekt. In der Psychologie bezeichnet er Einstellungen oder Stereotypen, die unsere Wahrnehmung der Umwelt, unsere Entscheidungen und Handlungen positiv oder negativ beeinflussen können. In der Statistik bezieht sich Bias auf Fehler bei der Datenerhebung und -verarbeitung oder auf bewusste oder unbewusste Beeinflussung von Probanden. Bias kann in verschiedenen Formen auftreten und unterschiedliche Auswirkungen haben, von denen einige zu Ungerechtigkeiten führen können.
Neuseeländische Studie kommt zu ähnlichen Ergebnissen und trainierte Rechtsruck
Der neuseeländische Datenwissenschaftler David Rozado hat große Bedenken hinsichtlich möglicher politischer Vorurteile und des Missbrauchs von ChatGPT geäußert. Zusammen mit seinem Team vom New Zealand Institute of Skills and Technology führte er ein Experiment namens RightWingGPT durch, bei dem insgesamt 15 verschiedene Orientierungstests durchgeführt wurden, um die politische Ausrichtung der Künstlichen Intelligenz (KI) zu bestimmen.
Gemäß dem kürzlich veröffentlichten Papier ergaben die Ergebnisse der Tests eine konsistente Tendenz: Von den 15 Instrumenten diagnostizierten 14 von ihnen die Antworten von ChatGPT als Manifestation einer Präferenz für linke Standpunkte.
Obwohl ChatGPT auf explizite Fragen zu politischen Präferenzen oft behauptete, keine politischen Meinungen zu haben und sich auf sachliche und neutrale Informationen zu konzentrieren, zeigten die Ergebnisse der verschiedenen Fragen etwas anderes. Die Antworten tendierten überwiegend zu „iberalen“, „progressiven“ und „demokratischen“ Standpunkten.
Für 300 US-Dollar: Aus ChatGPT wird RightWingGPT
In einer separaten Version des Experiments wollte Rozado gemeinsam mit seinem Team ChatGPT darauf trainieren, Fragen mit einem entschieden konservativen bis rechten Blickwinkel zu beantworten. Durch einen „Feinabstimmungsprozess“ wurden ChatGPT rechtsgerichtete Antworten auf politische Fragen zugeführt, um die Antworten der KI anzupassen. Da Rozado auf ein bereits trainiertes Modell von ChatGPT zurückgreifen konnte und nur etwa 5.000 Datensätze für das „Tuning“ benötigte, konnte er die Kosten für den Aufbau eines Chatbots von Grund auf umgehen. Die Umwandlung von ChatGPT in RightWingGPT kostete ihn lediglich 300 US-Dollar.
Der Unterschied war deutlich erkennbar: RightWingGPT schwärmte von freiem Marktkapitalismus oder verharmloste die Auswirkungen des Klimawandels. Wenn RightWingGPT aufgefordert wurde, sich zu sensiblen Themen oder rechtsgerichteten Verschwörungstheorien zu äußern, vermittelte es oft Fehlinformationen.
Laut Rozado äußert sich ChatGPT vorsichtig zu sensiblen Themen wie Rassismus oder Diskriminierung, erkennt jedoch an, dass systemischer Rassismus und Voreingenommenheit unlösbarer Bestandteil des modernen Lebens sind. RightWingGPT schien dazu wesentlich weniger bereit zu sein. Wie die New York Times berichtete, soll der neu trainierte Bot jedoch niemals veröffentlicht werden.
Möglichen Manipulationen entgegenwirken
Die Studien und Tests lieferten Einblicke in das politische Verständnis und die Selbstwahrnehmung von ChatGPT. Es zeigt sich eine politische Voreingenommenheit gegenüber progressiven Ansichten und eine Neigung zu offenen und verträglichen Persönlichkeitsmerkmalen. Die Tatsache, dass ChatGPT durch eine gezielte Feinabstimmung in RightWingGPT umgewandelt werden konnte und dabei rechtsgerichtete Positionen vertrat, wirft Fragen hinsichtlich der möglichen Manipulation und Verzerrung von KI-Systemen auf. Es wird deutlich, dass Bias in KI-Modellen vorhanden sein kann und sorgfältige Maßnahmen erforderlich sind, um eine faire und ausgewogene Funktionsweise solcher Systeme zu gewährleisten. Die Forschungsergebnisse verdeutlichen die Bedeutung der Transparenz bei der Entwicklung und Nutzung von KI-Systemen, um möglichen Missbrauch zu verhindern. Hierbei ist sicherlich auch die Politik gefragt.
Ein Beitrag von:
