Es ist ein sehr amerikanisches Buch: In vielen Beispielfällen wiederholt Cathy O‘Neill ihren Punkt ein uns andere Mal und fasst ihn zum Schluss noch einmal in einem knapp 20seitigen Konzept zusammen: Algorithmen und Datenanalysen sind alles andere als wertfreie Technik oder Mathematik. Sie multiplizieren den Bias desjenigen, der sie erstelllt hat, indem sie es möglich machen, dass nun auch Menschen, die diesen Bias gar nicht haben, ihre Entscheidungen unabsichtlich auf diese Vorurteile bauen. Sie füttern Fehlentscheidungen, indem sie als selffulfilling prophecies dafür sorgen, dass der ursprünglich falsche Bias nach und nach immer realer wird. Und sie bieten willkommene Ausreden, keine eigenen Entscheidungen zu treffen, keine eigenen Daten zusammen oder Annahmen zu hinterfragen, denn sie lagern die Verantwortung an vermeintliche Evidenz aus.

Diesen Begriff der Auslagerung von Verantwortung und des Aufschiebens von Entscheidungen hat der dänische Medizinsoziologe Klaus Hoeyer als „promissory data“ näher beschrieben: Daten sind ein Versprechen aus der Zukunft. EntscheiderInnen ziehen sich auf die Position zurück, jetzt keine Entscheidung treffen zu wollen, weil sie evidenzorientiert entscheiden wollen, die Datengrundlage dafür gibt es also noch nicht. Also muss man sich Daten beschaffen, abwarten, und dann werde die Evidenz gleichsam von selbst für die richtige Entscheidung sorgen. – So handelt man verantwortungsvoll, ohne zu handeln.

O‘Neill zitiert unter anderem Analysesysteme aus Polizei- und Präventionsarbeit, LehrerInnenbewertung oder Justiz, um ihre Thesen zu untermauern. All diese Anwendungen wurden geschaffen, um vermeintlich objektivere Entscheidungen treffen zu können, um die Auswirkungen persönlicher Vorlieben oder rassistischer oder sexistischer Vorurteile zu reduzieren. In vielen Fällen wurden dabei allerdings nur die Vorurteile jener, die urteilen sollten, durch die Vorurteile jener, die die Analysesysteme erstellten, ersetzt. In anderen Fällen verleitete der Drang zu Präzision die AlgorithmusautorInnen, AnalystInnen oder DatendesignerInnen zu absurden Rechenmodellen, die zwar überaus eindeutige und klar berechenbare Ergebnisse lieferten, die aber in keinem nachvollziehbaren Ergebnis zum eigentlichen Dateninput standen. O‘Neill bringt dazu Beispiele von Lehrerbewertungssystemen, deren Ergebnisse für die gleichen Lehrer von einem Jahr auf das andere Schwankungsbreiten innerhalb der gesamten verfügbaren Messskala auswiesen – ohne dass sich an Unterricht oder Rahmenbedingungen irgendetwas verändert hätte. In anderen Fällen wurden alle LehrerInnen an Schulen in sozial schwächeren Umgebungen schlechter beurteilt, weil außerschulische Einflüsse auf die Leistungen der SchülerInnen nicht berücksichtigt wurden.

Das Phantasiebild von wertfreien Daten und vorurteilsfreier Mathematik nimmt großen Stellenwert ein. Daten lösen Ideologie ab und schaffen neutrale Orientierungssysteme. Damit kommt wissenschaftliche Präzision auch in alltägliche Entscheidungen, in ökonomische Überlegungen oder in sozial und politisch bestimmte Fragen. Das Problem dabei: Auch wissenschaftliche Präzision ist zwar innerhalb des eigenen Modells präzise, aber alles andere als wertfrei. Zahlreiche Werthaltungen bestimmen Fragen der Wissenschaft.

Eine ganz augenscheinliche Wertentscheidung ist etwa die Frage, welche Probleme relevant genug sind, um im Zentrum der Forschung zu stehen und wie Forschungsbudgets zugeordnet werden. Manche sehen in diesen Prozessen vielleicht außerwissenschaftliche Entscheidungen. Philosophinnen wie Heather Douglas haben gezeigt, dass auch genuin wissenschaftliche Tätigkeiten wie etwa die Modellbildung, die Kalibrierung von Skalen und natürlich jede Form von Interpretation in sehr vielen Fällen wertebasierte Entscheidungen sind. Modelle sind nicht nur Erklärinstrumente, sie bilden auch Prioritäten ab – anhand eines Modells lässt sich ablesen, was den ModellierInnen wichtig war und was eher vernachlässigbar. Gleiches gilt für Messsysteme – die scheinbar neutralsten und wertfreisten Werkzeuge überhaupt: Messsysteme bilden ab, wie wichtig oder kritisch das zu Messende ist.

Douglas illustriert das anhand von Messsystemen zur Feststellung gesundheitsschädlicher Emissionen: Wird jede Emission gemessen, weil sie potenziell schädlich ist? Wie präzise ist die Skalierung? Oder gelten Schwellwerte, unterhalb derer nicht gemessen wird? Solche Entscheidungen bilden Prioritäten ab – und sie stehen auch für Werte. Niedrige Schwellwerte oder das Bestehen auf präzisen Skalen ab der kleinsten messbaren Einheit etwa stehen in Heather Douglas‘ Beispielen für Werthaltungen, die Gesundheit und Umwelt höher priorisieren. Höhere Schwellwerte dagegen entstehen aus Werthaltungen, die Wirtschaft und unternehmerische Freiheiten höher priorisieren – indem sie etwa helfen, Einschränkungen und strengere Regeln zu vermeiden.

Douglas‘ Konzept basiert auf Carl Hempels Idee des induktiven Risiko das wissenschaftstheoretisch untersucht, wie sich das Risiko, falsch zu liegen (und für die Folgen falscher Entscheidungen verantwortlich zu sein) auf Wissenschaft auswirkt.

O‘Neill spielt mit dem Gedanken eines hippokratischen Eids für Data Scientists, der sie ebenfalls an Folgen und eigentliche Zwecke ihres Handelns erinnert und hilft, die Priorität von mathematischer Präzision und technisch ausgefeilten Modellen hin zu mehr Verantwortung und sozialer Orientierung zu lenken. Das verleitet natürlich unter Umständen auch dazu, Data Scientists eine überzogene messianische Rolle einzuräumen. Pragmatischer finde ich den Ansatz, in der Evaluierung von Modellen Mathematik und Technik mal ganz beiseite zu lassen und Algorithmen wie naive User als Black Box zu betrachten, also nur auf den Output zu achten – und dann zu überprüfen, welche Annahmen diesen Ergebnissen zugrundeliegen, was er eigentlich tut, wem er nützt, wem er schadet, wer davon eigentlich betroffen ist. Anhand dieser Überlegungen kann dann schließlich geprüft werden, ob die Entscheidungen des Algorithmus tatsächlich Sinn machen.

Die Substanz von Weapons of Math Destruction lässt sich also auch knapper zusammenfassen – aber es bleibt dennoch ein wichtiges Buch vor allem für jene, die in Daten, Mathematik und Technologie neue Objektivität und klarere Entscheidungen erhoffen. Gerade auch weil es von einer Mathematikerin geschrieben wurde, und nicht von einer möglicherweise vorbelasteten Sozialwissenschaftlerin.