Der Twitter-Turing-Test

Was ist Intelligenz?
Wie funktioniert der Turing-Test?
Unser LOMU-Turing-Test
Ergebnisse




Wenn man sich mit Künstlicher Intelligenz (KI) beschäftigt, kommt man an der Frage, was die menschliche Intelligenz sei, nicht vorbei. Schließlich muss es einen angenommenen Unterschied zwischen beiden geben, sonst würde wohl die Künstliche Intelligenz nicht explizit „künstlich“ genannt.

Was ist Intelligenz?

Eine Recherche nach Definitionen des Begriffs ergab erwartungsgemäß einige Vorschläge:

Binet/Simon, 1905 – entwickelten den ersten Intelligenztest für Kinder:
„Intelligenz ist die Art der Bewältigung einer aktuellen Situation,
gut urteilen, gut verstehen und gut denken.“

William Stern, 1912 – prägte den Begriff Intelligenzquotient:
„Intelligenz ist die allgemeine Fähigkeit des Individuums, sein
Denken bewusst auf neue Forderungen einzustellen; sie ist die
allgemeine geistige Anpassungsfähigkeit an neue Aufgaben
und Bedingungen des Lebens.“

David Wechsler, 1964 – entwickelte bekannte Intelligenzskalen, wie WAIS
„Intelligenz ist die zusammengesetzte und globale Fähigkeit
des Individuums, zweckvoll zu handeln, vernünftig zu denken
und sich mit seiner Umgebung wirkungsvoll auseinander zu
setzen.“

Und der Brockhaus 1989:
„[lat., zu intellegere: erkennen, verstehen; eigtl.: zw. etwas wählen] Im allgemeinen Verständnis eine bestimmte Form der Begabung, die sich als Fähigkeit äußert, anschauliche sowie abstrakte Beziehungen zu erfassen, herzustellen und zu deuten und dadurch sich an neuartige Situationen anzupassen und sie gegebenenfalls durch Problem lösendes Verhalten zu bewältigen."

Die Wissenschaft der Künstlichen Intelligenz ist ein Teilgebiet der Informatik, zu dem Winston (1993) sagt: „die Wissenschaft der ,künstlichen Intelligenz‘, versucht mit Computern Handlungsweisen zu erzeugen, die, wenn sie ein Mensch ausführen würde, intelligent wirken würden.“

Es gibt zwei Arten der Herangehensweise an die Künstliche Intelligenz:

1. Harte KI – Sysmbolmanipulation:
Dieser Ansatz versucht intelligentes Verhalten zu erzeugen, indem Wissen durch eindeutige logische Relationen verknüpft wird. Die Lernfähigkeit solcher Programme ist allerdings aufgrund der hohen vorgegebenen Struktur eingeschränkt. Weiterhin setzt sie auf der Auffassung auf, dass all unser Wissen sich in logischen Sätzen sich formulieren lasse. Was m.E. sehr fragwürdig ist, aber bestimmt einen großen Teil unserer Welt gut nachbilden kann.

2. Weiche KI – Konnektivismus:
In der 'weichen KI’ wird versucht das menschliche Denken zu simulieren. Dieses Prozess soll 'von unten nach oben’ stattfinden, sozusagen eine Ebene unterhalb des symbolischen Ansatzes (auf Grund dessen auch: subsymbolisch). Es geht es darum Spielräume zuzulassen, unvollständiges und auch unscharfes Wissen zu verarbeiten. z.B.: wenn der Abstand zu Vordermann geringer wird, senke etwas die eigene Geschwindigkeit. [FuzzyLogic]. Andere Methoden: genetische Algorithmen, Neuronale Netze. Oft wird dieser Ansatz auch „artificial Life“ genannt, weil es dem menschlichen Wachstumsverhalten entlehnt ist. Beispiele: Kismet oder Cog. Doch mehr zu diesem Thema an anderer Stelle...

Und wann sind Maschinen intelligent?

Genau diese Frage versucht der Turing-Test zu beantworten!

Alan Turing (1912 – 1954) wuchs gemeinsam mit seinem Bruder in Pflegefamilien in England auf. Ab 1932 studierte er Mathematik in Cambrige. Mit der 1936 veröffentlichten Abhandlung „On computable numbers“ führte Turing das Konzept einer abstrakten Rechenmaschine ein, die später als Turing-Maschine bekannt wurde. Mit nur 25 Jahren setzte er damit den ersten Stein im Gebäude der Informatik.

Während des 2. Weltkriegs gelang ihn, nach Vorarbeiten polnischer Kryptologen den Enigma-Code der Deutschen zu entschlüsseln. 1950 entwickelte er neben dem Turing-Test den ersten Schachcomputer der Welt. 1954 starb er durch Zyanid (man vermutete Selbstmord) kurz vor seinem 42. Geburtstag.

Wie funktioniert der Turing-Test?

Es findet ein „Imitationsspiel“ oder einfach eine Konversation zwischen 2 Teilnehmern statt. Eine menschliche Versuchsperson ist der Befrager – sie ist mit dem Befragten [Mensch ODER Maschine] ausschließlich über ein Terminal verbunden. Turing vertrat die Ansicht, dass die Maschine tatsächlich intelligent sei, wenn der Befrager anhand der Antworten nicht zwischen Mensch und Maschine unterscheiden könne. Turing vermutete, dass es bis zum Jahr 2000 möglich sein werde, Computer so zu programmieren, dass der durchschnittliche Anwender eine höchstens 70%ige Chance habe, Mensch und Maschine erfolgreich zu identifizieren, nachdem er fünf Minuten mit ihr gesprochen hat.

Folgeentwicklungen waren:

– ELIZA:
Joseph Weizenbaum (1923 – 2008), ein deutsch-jüdischer Mathematiker, entwickelte 1966 das Gesprächs-Programm ELIZA, das bald sehr populär wurde. Er setzte es auf als ein Gespräch zwischen einem Psychiater und einem Patienten, auf dessen Schilderungen der Psychiater „eingehen" konnte. So entstand schnell der Eindruck, das Programm würde einen wirklich verstehen. Danach folgeten viele Entwicklungen, die heute oft unter dem Namen Chatbots geführt werden.

– Loebner Preis:
Seit 1991 ist der Loebner Gold-Preis ausgeschrieben, für das Bestehen des Turing-Tests. Bei dem Wettbewerb müssen die Programme sich einem Chat mit einem menschlichen Prüfer stellen. Dieser entscheidet nach 5 Minuten, ob er es mit einem Menschen oder einer Maschine zu tun hatte. Die Goldmedallie erhält das Programm das die Hälfte der Preisrichter überzeugt. Jährlich wurden bisher „nur“ Bronze-Medaillien verliehen.

Unser LOMU-Turing-Test

Ausgehend von obiger Fragenstellung, fragten wir uns: Welche Fragen lassen sich die Versuchspersonen einfallen, um das heraus zu finden? Wie verhalten sich die Testpersonen dabei? (Werden sie emotional, moralisch?)

Laut Weizenbaum neigen die Menschen dazu, die Maschine zu überschätzen und sich selbst zu unterschätzen. Selbst nachdem klar war, dass der Computer in keinster Weise etwas vom Gespräch versteht, wollten die Menschen weiterhin ELIZA konsultieren. Und: sobald es emotional/empathisch wird, neigen die Menschen dazu, das Gegenüber ernst zu nehmen....

Der Ablauf:

Aus dem Publikum wurden 2 Personen ausgewählt: eine Versuchsperson (VP) und ein Mensch (M). Die VP bekommt die Aufgabe: Finde heraus, antwortet Mensch oder Maschine? Der M bekommt die Aufgabe: Führe eine Unterhaltung / antworte auf die Fragen.

Die dritte Komponente war ein Programm, dass Unterhaltungen führen konnte, ein so genannter Chatbot. Wir entschieden uns für den deutschsprachigen Elbot, dessen englischsprachige Version 2008 den Loebner Bronze Preis gewann.

Auf eine Frage der VP würden nun 2 Antworten kommen: vom M(ensch) und Elbot.

Das Publikum schaute zu, sollte aber von VP und M getrennt stehen – alle waren also auf 3 Räume verteilt.

Da die Antworten des Chatbots vermutlich früher auf dem Schrim erschienen wären, wollten wir alle Antworten gleichzeitig auf den Beamer schicken und haben deshalb eine Admin-Person dazwischen geschaltet, die beide Antworten zuerst sammelte und dann für das Publikum gleichzeitig freigab.

Um die Terminalsituation zu simulieren, richteten wir 3 Twitter-User ein: @LOMU_Turingtest, @LOMU_Antwort_A, @LOMU_Antwort_B.

LOMU_Turingtest folgt dabei nur den beiden anderen und bekommt somit nur deren Tweets. Die VP schreibt ihr Gespräch in LOMU_Turingtest, der Admin tippt die Entgegnungen vom Elbot in Antwort_A und die Entgegnungen von M in Antwort_B - wobei das von Durchlauf zu Durchlauf variiert.

Die VP aktualisiert danach ihre Tweets und die Antworten der beiden erscheinen gleichzeitig. Der Bildschrim von VP wird auf den Beamer geworfen, so dass alle das Gespräch verfolgen können.

Anm.: Ein anderes gutes Programm wäre noch A.L.I.C.E., die 2004 den Loebner Preis gewonnen hat.

Durchlauf:

Von den 2 angedachten Durchläufen führten wir schliesslich nur Variante B) durch.

A) Gespräch bis 3 Minuten oder bis die VP abbricht. Danach: VP entscheidet, wer Mensch und wer Maschine ist und sagt dies dem Admin. Publikum entscheidet, wer Mensch und wer Maschine ist durch Hochheben einer Karte A oder B, und der LOMU-Admin notiert alles in eine vorbereitete Tabelle. Danach: Auflösung.

B) Nach jedem Wortwechsel entscheidet VP und Publikum, wer wer ist. Der Witz ist hier, dass die Antworten von Mensch bzw. Maschine mal in Antwort_A mal in Antwort_B erscheinen.



Ergebnisse

Zu den 4 Durchläufen fanden sich jedesmal ca. 10 bis 12 Personen im Publikum ein; sowie unsere menschliche Versuchsperson VP und deren menschlicher Entgegner M.

Einmal lag die Mehrheit tatsächlich falsch und befand die Maschine für einen Menschen – der Turingtest wurde also bei uns bestanden! ;). In den verbliebenen 3 Durchläufen war das Verhältnis stets ungefähr 2:8, also ca. 20% der Teilnehmer glaubten, dass Elbots Antworten von einem Menschen stammen müssten.

Dies entspricht in etwa den aktuellen Ergebnissen aus anderen (auch wissenschaftlichen) Studien. Sollte ein Programm einmal die vom Turing vorher gesagten 30% der Zuschauer davon überzeugen, dass es ein Mensch sei, dann würden seine Programmierer den Loebner Gold-Preis gewinnen: 100.000 $ – was bisher noch niemanden gelungen ist.

Die Turing-Test Gespräche können bei den folgenden Twitter Accounts nachgelesen werden:

twitter.com/LOMU_Turingtest

twitter.com/LOMU_Antwort_A

twitter.com/LOMU_Antwort_B



Agnieszka Krzeminska