Vertrauen bedingt Verwundbarkeit
Juli 7, 2022
Marisa Tschopp
Beitrag: Marisa Tschopp | Foto: Anne Gabriel-Jürgens
Wie stark wir Systemen mit künstlicher Intelligenz (KI) vertrauen, beeinflusst, ob wir uns auf diese verlassen und wie wir sie nutzen. Die Einflussfaktoren auf das Vertrauen zu erforschen, stösst auf grosses Interesse, während Verletzlichkeit in der Mensch-Maschine-Interaktion nicht wirklich viel Beachtung findet. Dabei ist Verletzlichkeit das Herzstück der Vertrauenstheorien in menschlichen Interaktionen. Trotzdem ist Verletzlichkeit nicht das Herzstück der Vertrauenstheorien in der Mensch-Maschine-Interaktion. Noch nicht.
Was ist Verletzlichkeit? Bei Menschen bedeutet Verletzlichkeit, dass sie in einer Interaktion ein gewisses Risiko eingehen, vom Gegenüber enttäuscht zu werden: Sie machen sich verletzlich gegenüber anderen. Erst Vertrauen macht es Menschen möglich, trotz schlechter Vorhersagbarkeit und Unsicherheit den sogenannten Glaubenssprung (leap of faith) in unbekannte Gewässer mit unbekannten Menschen zu wagen.
Trustworthy AI: Den Glaubenssprung ermöglichen
Derzeit wird viel über vertrauenswürdige KI diskutiert. Diese hat zum Ziel, das Risiko für Menschen verletzt zu werden, zu reduzieren. Um vertrauenswürdige KI zu erreichen, werden Ideale aufgestellt, wie ein KI-System auszusehen hat. KI muss unter anderem technisch robust und sicher sein, die Modelle müssen transparent, erklärbar oder «audit-bar» sein. Diese Leitlinien sind deshalb sinnvoll, weil KI-Systeme Schwachstellen haben. Sie funktionieren nie perfekt, was ein KI-System ebenfalls «verletzbar» macht. Wobei in der IT der Begriff verwundbar besser passt und vor allem in der IT-Security bereits einen festen Platz hat.
Überall sind Schwachstellen
Diese Schwachstellen (oder Verwundbarkeiten) sind eine von vielen Ursachen, warum es bei KI-Systemen zu einer Situation geprägt von Unsicherheit kommt. Das ist auch der Grund, warum es überhaupt zu einer Vertrauensbeziehung zwischen Mensch und Maschine kommt. Die Krux ist jedoch, dass am Ende nur Menschen wirklich verletzt werden können. Ein Mensch vertraut einem KI-System, etwas zu tun. Es fehlt an Vorhersagbarkeit, daher ist die Situation von Unsicherheit und eventuell sogar von grossem Risiko geprägt. Der Mensch macht sich verletzlich, wenn er das Risiko eingeht, sich auf die Maschine zu verlassen und danach zu handeln. Das KI-System performt nicht, das Ziel der Mensch-Maschine-Interaktion ist nicht erreicht und der Mensch wird verletzt.
Technische Schwachstellen beschädigen vielleicht eine Maschine, aber verletzt wird am Ende ein Mensch. Die Maschine leidet im eigentlichen Sinn nicht.
Technische Schwachstellen beschädigen vielleicht eine Maschine, aber verletzt wird am Ende ein Mensch. Die Maschine leidet im eigentlichen Sinn nicht. Daraus kann geschlossen werden, dass die Vertrauensbeziehung in der Mensch-Maschine-Interaktion unidirektional ist: Nur der Mensch kann vertrauen, kann Risiken eingehen und verletzt werden. KI-Systeme sind durch technische Schwachstellen verwundbar, leiden jedoch nicht. Nur der Mensch leidet und das vielleicht sogar in doppelter Hinsicht: Ein Nutzer, der sich «verletzt» hat, da ihm geschadet wurde und die Entwicklerin, die sich «verletzt» hat, weil sie sich schuldig fühlt und sich verantwortlich gemacht hat. Vielleicht ist die Vertrauensbeziehung in der Mensch-Maschine-Interaktion doch nicht so unidirektional?
Zeit für einen Paradigmenwechsel?
Während Vertrauen nur bei menschlichen Akteur:innen entsteht, zeigt sich die Verletzlichkeit bei allen Akteur:innen. Und dies in unterschiedlichen Formen, die sich auf noch unbekannte Weise beeinflussen. Bringen wir als Beispiel einen Hacker ins Spiel, der absichtlich versucht, Schwachstellen der Software auszunutzen, um einer Person zu schaden. Oder eine Firma, die böswillig manipulative Designstrategien entwickelt, um Vertrauen zu fördern. Schnell merken wir, wie die Mensch-Maschine- Interaktion an Komplexität gewinnt. Einfacher wäre vielleicht die Betrachtung aus Perspektive der Schwachstellen. Dann wirkt das KI-System eigentlich als eine Art notwendiger Zwischenhändler zwischen den menschlichen Akteur:innen. Denn eine Schwachstelle in der Maschine funktioniert am Ende nur zusammen mit der Schwachstelle Mensch.
Diese neuartige Idee des Managements, welche sich auf Verwundbarkeiten fokussiert, fusst auf den folgenden Thesen:
- Der Mensch ist verwundbar, egal auf welcher Seite des KI-Systems er steht.
- Der Mensch hat Schwächen, die ihn verwundbar machen: z.B. zu viel Vertrauen (overtrust) oder die kognitive Verzerrung, dass Maschinen immer perfekt funktionieren (automation bias).
- Das KI-System ist verwundbar, weil es entweder schlecht gebaut (vielfältige technische Schwachstellen) und/oder schlecht genutzt wird (bspw. technische Schwachstellen werden ausgenutzt).
- Die Leidtragenden sind immer die Menschen: negative Konsequenzen, Schuld, Verantwortung etc.
Das Ziel von vertrauenswürdiger KI ist, die negativen Konsequenzen zu minimieren. Jedoch ist es das Wagnis wert, einen Paradigmenwechsel vorzuschlagen: Weg vom Fokus auf Vertrauen und Vertrauenswürdigkeit, hin zum Fokus auf Verwundbarkeit. Daraus könnte eine Sicht auf die KI-Systeme entstehen, die ganzheitlich die Verwundbarkeit von Menschen und Maschinen betrachtet. Denn weder Mensch noch Maschine funktionieren jemals perfekt, auch wenn uns das Hirn oder Werbung manchmal vorgaukeln. Wir müssen ständig wachsam sein und – um im Tech-Jargon zu bleiben – ständig patchen. Das betrifft einerseits die IT- Systeme, aber andererseits auch unser menschliches Vertrauensniveau.
Die Vision: Ganzheitliches Verwundbarkeits-Management
Leitlinien zur Verwundbarkeit zu entwickeln, scheint ein visionäres Unterfangen. Es gibt viel Spielraum bei der Auslegung und vielleicht wären Leitlinien auch zu starr. Das entspricht nämlich nicht der Tatsache, dass die Vertrauensbeziehung zwischen Mensch und Maschine ein dynamischer, kontinuierlicher Prozess ist. Fortlaufend müssen die Stellschrauben der Beziehung überwacht, überdacht, und geflickt werden. Der Fokus auf die Schwachstellen von Mensch und Maschine hat das Potenzial ein besseres Verständnis und bessere Handlungsempfehlungen herauszugeben, damit wir KI-Systeme in Zukunft effektiv, nachhaltig und vor allem sicher nutzen können.
About the Author: Marisa Tschopp
Hauptberuflich erforscht sie die Mensch-KI-Interaktion bei der scip AG und am Leibniz-Institut für Wissensmedien (IWM) in Tübingen.
Als Ambassador und Chief Research Officer der Non-Profit-Organisation Women in AI engagiert sie sich für Diversität und Gleichberechtigung. An der HWZ ist sie Dozentin im CAS AI Operations.
In ihrer Freizeit ist Marisa Tschopp stolze Trainerin von 14 Männern in der 3. Liga beim Volleyball Club Mellingen.