Hintergrund
Wir leben in einer historischen Zeit, in der jedes Detail unseres Lebens in einen Datenpunkt verwandelt wird, der von KI-Systemen und Algorithmen verwendet wird, um Profile von uns zu erstellen, uns zu beurteilen und Entscheidungen über uns zu treffen. Diese Technologien werden überall eingesetzt. Gesundheits- und Bildungsexperten nutzen sie, um "Risikofaktoren" aufzuspüren oder "personalisierte Lösungen" zu finden. Arbeitgeber, Banken und Versicherungen nutzen sie um Kunden oder potenzielle Bewerber zu beurteilen. Sogar Regierungen, die Polizei und Einwanderungsbehörden nutzen diese Technologien um über wichtige Fragen im Leben jedes Einzelnen zu entscheiden, vom Recht auf Asyl bis zur Wahrscheinlichkeit ein Verbrechen zu begehen. Die COVID-19-Pandemie intensiviert und verschärft diese Praktiken der technologischen Überwachung und Profilerstellung zudem.
KI-Systeme und Vorhersagen-Analytik werden oft eingesetzt, um die Prozesse datengesteuerter Entscheidungen effizienter zu machen und "menschliche Fehler zu vermeiden". Doch paradoxerweise sind diese Technologien, wie jüngste Forschungen gezeigt haben, von inhärenten "Fehlern", "Verzerrungen" und "Ungenauigkeiten" geprägt, wenn es darum geht, Menschen zu analysieren, was zu einer Vielzahl von realen Benachteiligungen und Menschenrechtsverletzungen führen kann.
Das Projekt
Das „Human Error Project: AI, Human Nature, and the Conflict over Algorithmic Profiling“ kombiniert anthropologische Theorie mit kritischer Daten- und KI-Forschung und zielt darauf ab, algorithmische Fehleinschätzungen zu untersuchen wenn es darum geht, Menschen zu analysieren. Wir konzentrieren uns auf drei verschiedene, wenn auch miteinander verbundene, Dimensionen des "menschlichen Fehlers" in Algorithmen:
- Algorithmische Verzerrung (Algorithmic Bias) – Algorithmen und KI-Systeme sind von Menschen gemacht und werden immer von den kulturellen Werten und Überzeugungen der Menschen und Gesellschaften geprägt sein, die sie geschaffen haben.
- Algorithmische Ungenauigkeit (Algorithmic Inaccuracy) – Algorithmen verarbeiten Daten. Doch die von Algorithmen verarbeiteten Daten sind oft das Produkt alltäglicher menschlicher Praktiken, die chaotisch, widersprüchlich und aus dem Kontext gerissen sind, daher sind algorithmische Vorhersagen von Ungenauigkeiten, Teilwahrheiten und Fehldarstellungen geprägt.
- Algorithmische Unverantwortlichkeit (Algorithmic Un-Accountability) – Algorithmen treffen spezifische Vorhersagen, die oft nicht erklärbar sind. Die Tatsache, dass die meisten Algorithmen, die für die persönliche Profilerstellung verwendet werden, unerklärlich sind, führt dazu, dass man sie nicht zur Rechenschaft ziehen kann. Wie können wir ihren Entscheidungen vertrauen, wenn wir sie nicht erklären können?
Unser Team arbeitet an verschiedenen, miteinander verbundenen Forschungsprojekten. Prof. Barassi wird eine zweijährige qualitative Untersuchung - basierend auf kritischer Diskursanalyse und Tiefeninterviews - zu den Konflikten um algorithmische Profilbildung in Europa leiten, die durch den HSG-Grundlagenforschungsfonds finanziert wird. Dr. Antje Scharenberg wird als Postdoc an einem Forschungsprojekt arbeiten, das die Herausforderungen von Algorithmen für die menschliche Handlungsfähigkeit untersucht. Marie Poux-Berthe wird an einem dreijährigen PhD-Forschungsprojekt über digitale Medien und Technologien und die Fehlkonstruktion von Alter und Altern arbeiten und Frau Rahi Patra wird sich in ihrer PhD-Forschung auf Technologien zur Gesundheitsüberwachung, algorithmische Verzerrungen und deren Auswirkungen auf Menschenrechte und Privatsphäre konzentrieren.
Wir glauben, dass das Verständnis menschlicher Fehler in Algorithmen zu einer Top-Priorität unserer Zeit geworden ist, weil sie ein Licht auf die Tatsache werfen, dass der Wettlauf um KI-Innovationen oft von stereotypen und reduktionistischen Verständnissen der menschlichen Natur geprägt ist. In diesem Zusammenhang kommt es zur Entstehung neuer Konflikte darüber, was es bedeutet, ein Mensch zu sein.