Text von Laura Schmidt
Fotografie von Vincent Forstenlechner / Connected Archives
Lesedauer: 6 Minuten
Wie neutral können Algorithmen sein, die in immer größeren Teilen unseres Lebens präsent sind? Ein Gespräch mit Carsten Orwat, der als Wissenschaftler Diskriminerungsrisiken durch Algorithmen untersucht hat, zu Chancen und Risiken der automatisierten Prozesse..
Machen Algorithmen unsere Welt besser?
Zumindest bestehen starke Hoffnungen, dass sie objektiver vorgehen als Menschen.
Warum müssen wir da hoffen? Warum ist das nicht schon jetzt der Fall?
Das liegt zum Teil an Fehlentwicklungen, auch des Rechtssystems, oder an Intransparenz. Selbst Bearbeiter:innen von Systemen Künstlicher Intelligenz (KI) und die Unternehmen selbst, die Prozesse automatisiert haben, wissen teilweise nicht, nach welchen Kriterien hier Entscheidungen getroffen werden.
Löst sich somit die Hoffnung, dass durch Künstliche Intelligenz ein höheres Maß an Wertneutralität oder Chancengleichheit in einer Gesellschaft herrschen kann, nicht ein?
Den neutralen Algorithmus gibt es nicht. Sobald Algorithmen in bestimmten Anwendungen für bestimmte Zwecke eingesetzt werden, sind sie nicht mehr wertneutral. Viele menschliche Entscheidungen – beispielsweise darüber, welche Kriterien einbezogen oder welche Zielgrößen ausgewertet werden – beeinflussen die Entwicklung von Algorithmen. All diese Entscheidungen können kaum wertneutral sein. Meist ist das Ziel die Steigerung der Effizienz – Effizienz durch Automatisierung.
Automatisierte Prozesse werden beispielsweise in Bewerbungs- oder Kreditvergabeverfahren eingesetzt. Wenn diese Verfahren Menschen nicht als Individuen wahrnehmen, können sie ihnen vielleicht sogar schaden.
Bei automatisierten oder halbautomatisierten Entscheidungen wird die Einzelperson tatsächlich nicht mehr umfassend in Augenschein genommen. Es kommt ja nicht zu einer Nachfrage, was, wie, warum im Leben so gelaufen ist. Das System geht von Korrelationen aus, versucht automatisiert Muster und Kriterien zu erkennen, bildet damit Personenkategorien und ordnet Individuen anhand dieser Kriterien dann den Kategorien zu. Und ja, das Personalwesen ist tatsächlich sehr anfällig für Diskriminierung.
Wie kommt es dazu?
Es wird häufig intern und extern nicht transparent gemacht, nach welchen Kriterien entschieden oder ausgewählt wird, welche Differenzierungsentscheidungen etwa in Online-Interviews getroffen werden. Es gibt sowohl intendierte als auch nicht intendierte Diskriminierung. Diskriminierungsursachen wie »gebiaste« oder nicht repräsentative Datensätze oder die Auswahl falscher Variablen können versehentlich vorliegen. Aber dieses Vorgehen kann auch bewusst eingesetzt werden. Rassistische Vorstellungen sind dann intentional in die KI implementiert. In beiden Fällen kann es zu unmittelbarer oder mittelbarer Diskriminierung kommen. Bei unmittelbarer Diskriminierung werden die geschützten Merkmale direkt verwendet, bei mittelbarer Diskriminierung werden Kriterien verwendet, die indirekt einen Bezug zu den geschützten Merkmalen haben. Das kann beim maschinellen Lernen mit sehr vielen Variablen leicht vorkommen.
Aber selbst wenn alles transparent wäre, würde nicht jede:r die automatisierten komplexen Vorgänge verstehen können, oder?
Ja und nein. Ein einfacher Algorithmus kann absolut klar, durchschaubar und nachvollziehbar sein. Nur komplexe maschinelle Lernverfahren sind schwer zu begreifen, selbst für Entwickler:innen. Wenn Algorithmen transparent sind, könnte es tatsächlich besser sein, sie entscheiden zu lassen, da man weiß, wie Entscheidungen getroffen werden. Bei einem Bewerbungsverfahren beispielsweise wird in allen Fällen gleich vorgegangen. Gäbe es zudem keinen Schutz durch Betriebsgeheimnisse und lägen die notwendigen Fachkenntnisse vor, könnte man theoretisch mit einem Blick auf die Rechenschritte von weniger komplexen Algorithmen nachprüfen, ob Diskriminierung vorliegt, anders als bei menschlichen Entscheidenden. Diskriminierung könnte somit durch Algorithmen sogar verhindert werden.
Ist Diskriminierung durch Algorithmen ein internationales Phänomen?
Durchaus. Die Systeme werden weltweit verkauft, teilweise von großen Unternehmen und Playern in der Entwicklung von KI wie Google, Amazon, Facebook, Apple oder Microsoft. Sie bieten ihre Systeme häufig ebenfalls online an. Man kann hier Datensätze hochspielen, auswerten und sich Ergebnisse zurückspielen lassen.
Und das ist dann nicht unbedingt länderspezifisch.
Nein, länderspezifisch ist die rechtliche Einrahmung, die Angebote sind fast schon global ähnlich.
Einige der von Ihnen angesprochenen Unternehmen widmen sich seit einigen Jahren intensiv dem Thema »Equity versus Equality«. Denken Sie, diese Debatte kann die Algorithmen gerechter machen?
In der Informatik ist seit einiger Zeit der Begriff »Fairness« sehr populär, der in den Gesellschafts- und Sozialwissenschaften eigentlich kaum auftaucht, wo man eher über Gerechtigkeit oder Gleichheit spricht. Die Vorstellungen von Fairness, die in der Informatik vorherrschen, werden in Kennziffern ausgedrückt, die unter anderem aus Fehlerraten gebildet werden, sogenannten Fairnessmaßen. Es prallen hier zwei Welten aufeinander: 3000 Jahre Gerechtigkeitsdiskussion und die recht jungen Fairnessvorstellungen der Informatik. Es wäre wichtig, in Augenschein zu nehmen, welche Gerechtigkeitsvorstellungen unseren Verfassungen und auch europäischen Richtlinien zugrunde liegen und welche Fairnesskriterien, -metriken oder
-definitionen in der KI zur Anwendung kommen, ob diese grundsätzlich miteinander vereinbar sind.
Kann die Informatik Visionen für menschliches Miteinander entwickeln?
Das Problem sollte auf gesellschaftlicher Ebene angegangen werden und nicht einer einzelnen Berufsgruppe vorbehalten sein. Denn innerhalb einer Gesellschaft gelten unterschiedliche Gerechtigkeitskonzeptionen als tragfähig, abhängig vom Kontext. In manchen Bereichen wird Equity, Gerechtigkeit, erst durch eine gezielte Berücksichtigung der individuellen Situation einer Person erreicht, man spricht hier von adressenorientierter Gerechtigkeit. Im Bereich der Arbeitsplatzvergabe etwa herrscht gesellschaftlicher Konsens darüber, dass nach Parametern wie Leistung, Bildungsgrad, Eignung und Berufserfahrung Arbeitsplätze vergeben werden. In anderen Bereichen wird Gerechtigkeit nach Bedürftigkeit bestimmt. In wieder anderen Kontexten geht es um Gleichheit vor dem Gesetz oder um gleiche Beteiligungsmöglichkeiten. Es wäre also besser zu klären, in welchen Kontexten sich die Gesellschaft auf welche Gerechtigkeitskonzeptionen geeinigt hat und wie diese in Vorgaben für die Informatik umgesetzt werden können.
An welchen Punkten sollte man es nicht Algorithmen überlassen, Entscheidungen zu treffen und möglicherweise Menschen zu diskriminieren?
Das Antidiskriminierungsrecht ist motiviert aus den Gleichheitssätzen des Artikels 3 des Grundgesetzes und aus Artikel 2, der freien Entfaltung der Persönlichkeit, wonach dem einzelnen Menschen Handlungsspielräume nicht ungerechtfertigt verengt oder verunmöglicht werden dürfen, zum Beispiel durch falsche Zuschreibungen oder Stereotypenbildung. Diese Erklärungsmöglichkeit fällt bei automatisierten Prozessen oft weg, da nach vorher festgelegten Kriterien über Personen entschieden wird. Es müsste offen in der Gesellschaft diskutiert und entschieden werden, bei welchen Entscheidungen über Menschen, die die Persönlichkeitsentfaltung stark betreffen, der Einzelne noch ein Recht haben muss, sich zu erklären, ein Recht auf Selbstdarstellung zu haben und auf eine personenbezogene Inaugenscheinnahme.
In welchen Bereichen muss das passieren?
Dies sollte bei Gütern, Diensten und Angeboten – auch öffentlichen Angeboten – passieren, die essenziell für die Persönlichkeitsentfaltung sind, wie beispielsweise dem Wohnen, der Ausbildung, Krediten oder der Arbeitsplatzvergabe. Die Bedeutung für die Persönlichkeitsentwicklung muss Einfluss darauf haben, wann welche Entscheidungen in welcher Form über Menschen getroffen werden dürfen. Wenn es nur um Würstchenwerbung geht, die man personalisiert, und der eine bekommt ein veganes und der andere ein Fleischwürstchen angezeigt, dann erscheint mir das nicht dramatisch. Aber wenn es wirklich um die Chancen der persönlichen Entwicklung und Freiheiten geht, dann schon.
An diesem Punkt müsste eine öffentliche Debatte um die Verwendung und auch die gesellschaftspolitische Dimension von Algorithmen stattfinden.
Bei der ganzen KI-Diskussion werden Themen berührt, die eigentlich zu gesellschaftlichen Entscheidungen gebracht werden müssten. Etwa die Frage, welche Variablen und somit welche Wertvorstellungen welchen Entscheidungen zugrunde gelegt werden und welche Formen von Gerechtigkeit in welchen Bereichen unserer Gesellschaft gelten und weiter gelten sollen. Dies müsste politisiert und gesellschaftlich entschieden, nicht vonseiten der Entwickler:innen oder Standardisierungsorganisationen gesetzt, somit von falscher Stelle initiiert werden.
Also gibt es doch noch Hoffnung?
Wir als betroffene Teile der Gesellschaft sollten eigentlich informiert entscheiden können, inwieweit Algorithmen bei welchen Entscheidungen eingesetzt werden sollen. Wenn das ermöglicht würde, gäbe es auch noch Hoffnung.