Die unheimliche Macht der Algorithmen

Die Bestrafung durch den Algorithmus fiel ihm zuerst gar nicht auf. Doch dann sagte der Bankangestellte am Telefon auf seine Nachfrage: «Ich kann leider nichts für Sie machen. Ihr Score ist zu tief.» Thomas Fischer* stutzte. Ein Computerprogramm hatte aufgrund einer mathematischen Formel seine Bonität beurteilt. Er sollte deshalb einen höheren Zins für seinen Onlinekredit zahlen. Der Kreditberater von Bob Finance wollte am Urteil des Algorithmus nicht rütteln.

In der Schweiz sammeln vier Privatunternehmen riesige Datenmengen zum Zahlungsverhalten der Konsumenten, jagen diese durch komplizierte Formeln und errechnen am Ende einen Score für praktisch jeden mündigen Einwohner. Wer Rechnungen erhält, wird laufend von Algorithmen vermessen und bewertet. Je mehr Punkte die Maschine vergibt, desto kreditwürdiger ist der Mensch.

Die komplizierten Berechnungen des Algorithmus sind gefragt. Banken konsultieren den Bonitätsscore bei der Hypothekenvergabe. Ist er gut, sinkt der Zinssatz. Onlineshops checken den Score vor jeder Warenlieferung. Wenn er schlecht ist, liefert Zalando nur gegen Vorauskasse.

Algorithmen sind so genial wie gefährlich. Sie durchdringen immer mehr Lebensbereiche, oft mit ungeahnten Folgen. Die Mathecodes komponieren Musik oder schreiben Artikel. Sie bestimmen, welches Tomografenbild einen Krebstumor zeigt. Was die Google-Suche ergibt. Welche Antwort uns Swisscom mailt. Welcher Youtube-Film als nächster abgespielt wird. Wie teuer der Flug ist Easyjet Für 8.95 Franken von Berlin nach Basel?! . Wie viel Cumulus-Rabatt wir auf welches Migros-Produkt erhalten. Wer für den Credit-Suisse-Job in Frage kommt. Der Facebook-Algorithmus sei gar so mächtig, dass man damit Wahlen beeinflussen könne, sagt die umstrittene Beratungsfirma Cambridge Analytica. Viele sehen daher die Demokratie in Gefahr.

Die Computerformeln können sogar in die Zukunft blicken. Mehreren kantonalen Polizeikorps prophezeien sie, wer bald eine schwere Gewalttat begehen wird. Die Wahrscheinlichkeitsrechnung dahinter ist allerdings derart ungenau, dass zwei Drittel der angeblichen Gefährder eher ungefährlich sind. Das deckte die TV-Sendung «Schweiz aktuell» im April auf. Falls die vermeintlichen Gefährder in Untersuchungshaft sitzen, müssen sie oft länger bleiben. Der Algorithmus rät von der Entlassung ab.

Künstliche Intelligenz wird die Gesellschaft stärker verändern als die Entdeckung des Feuers, sagt Google-Chef Sundar Pichai. Auf positive Weise. Etwa indem sie in der Medizin Krankheiten diagnostiziert oder am Arbeitsplatz Vorurteile ausschaltet.

«Algorithmen sind Meinungen, in Codes eingebettet. Sie sind nicht objektiv.»

Cathy O'Neil, Mathematikerin

Die Mathematikerin Cathy O’Neil dagegen warnt vor einer gefährlichen Verniedlichung der Formeln. «Algorithmen sind Meinungen, in Codes eingebettet. Sie sind nicht objektiv.» Die Amerikanerin hat einst selbst Algorithmen programmiert. Und sich dann angewidert davon abgewandt. Die Formeln können zu Mathevernichtungswaffen werden, sagt sie in Anspielung auf den Begriff Massenvernichtungswaffen. Über diese «Weapons of Math Destruction», die Lebenschancen zerstören und Arme benachteiligen, hat sie in ihrem gleichnamigen Buch geschrieben.

Algorithmen urteilen, ohne zwischen den Zeilen zu lesen oder beim Betroffenen nachzufragen. Ohne sich für ihr Resultat zu rechtfertigen. Und oft ohne dass sie aus ihren Fehlern lernen, wie es Menschen idealerweise tun. Jeder Programmierer wisse, dass sein Algorithmus zwangsläufig einen gewissen Prozentsatz der Menschen falsch beurteile, schreibt O’Neil. Daher fordert sie einen hippokratischen Eid für Programmierer. Wie Ärzte sollen auch Algorithmenschöpfer geloben, sich ethisch zu verhalten. Dann könnten die Formeln Gutes bewirken und beispielsweise frauenfeindliche Entscheide von Männern verunmöglichen.

Cathy O’Neil stört vor allem die fehlende Transparenz. In der Regel seien die statistischen Modelle hinter den Algorithmen eine Blackbox. Die Firmen verheimlichten sie selbst gegenüber den Aufsichtsbehörden.

Genau das machen auch die Schweizer Firmen, die im grossen Stil Algorithmenurteile verkaufen Bonitätsauskunft Warum bin ich nicht kreditwürdig? . Die vier Bonitätsdatenhersteller Intrum Justitia, Crif, Creditreform und Bisnode berechnen für jeden Erwachsenen das Risiko, dass er eine Rechnung nicht zahlt. Die Wahrscheinlichkeitsrechnungen hinter ihren Bonitätsscores bezeichnen sie als Geschäftsgeheimnis. Das Ergebnis ist für Aussenstehende nicht nachvollziehbar. Betroffene müssen das Urteil akzeptieren. Keine Schweizer Behörde hat die mächtigen Algorithmen dieser Firmen je überprüft. Obwohl sie einschneidende Auswirkungen haben können.

Thomas Fischer konnte sich erst nicht erklären, warum er als schuldenfreier Gutverdiener einen so hohen Zins zahlen sollte. Er googelte die Geschäftsbedingungen der Kreditfirma Bob Finance und der Bonitätslieferantin Crif. Und hatte bald einen Verdacht: Erhielt er wegen seiner häufigen Umzüge ein mittelmässiges Rating? Bob Finance mochte das nicht beantworten. Crif gibt zu, dass der Algorithmus häufiges Zügeln negativ bewertet. Die Umzüge hätten aber ein statistisch «minimales Gewicht». Bloss: Die Formel hat gelernt, dass Leute, die oft umziehen, die Schulden im Schnitt öfter nicht begleichen.

«Die Scores modellieren das Wohlverhalten eines guten Schuldners. Das ist extrem problematisch.»

Lorenz Matzat, Geschäftsführer von Algorithmwatch

«Mathematisch und statistisch ist dieses Vorgehen vermutlich völlig korrekt. Trotzdem können die sozialen Auswirkungen des Algorithmus auf die einzelne Person ungerecht sein», sagt Lorenz Matzat. Der Geschäftsführer der Organisation Algorithmwatch bekämpft von Berlin aus die wachsende Macht der Computerformeln.

Besonders im Fokus stehen Bonitätsalgorithmen. «Die Scores modellieren das Wohlverhalten eines guten Schuldners. Das ist extrem problematisch», sagt er. «Vielleicht werden gewisse Lebensformen oder Gruppen, die nicht das soziale Wohlverhalten eines guten Schuldners an den Tag legen, systematisch benachteiligt.» Statistische Werte bildeten meist die Vorurteile einer Gesellschaft ab. Wenn eine Formel aus diesen Daten Urteile produziere, vervielfältige sie diese Vorurteile, sagt Matzat.

Dagegen wehrt sich der Datenjournalist mit einem Programm, das den geheimen Bonitätsalgorithmus austricksen soll. In einem grauen Altbaugebäude in Berlin-Mitte entwickelt er mit Programmierern und Statistikern eine Software, die den Code der einflussreichsten deutschen Bonitätsdatenbank knacken soll. Der halbstaatliche Schufa-Bonitätsscore spielt in Deutschland selbst bei der Vergabe von Wohnungen eine wichtige Rolle. Algorithmwatch will ab Mai mindestens 10'000 Konsumenten dazu bringen, ihren Bonitätsscore bei der Schufa herauszuverlangen und in ihr Decodierungsprogramm hochzuladen. Mit diesem Reverse-Engineering-Trick will die Organisation den Algorithmus entlarven.

Weil maschinelle Entscheide derart kostensparend und schnell sind, erobern sie eine Branche nach der andern Stimmanalyse Hokuspokus mit fatalen Folgen? . Im Schulhaus Lättenwiesen in Opfikon ZH zum Beispiel sortiert ein Algorithmus die Bewerbungen. Er hat schon für drei Schulleiterstellen die geeignetsten Kandidaten herausgefiltert. Schulpräsident Norbert Zeller ist überzeugt von der Software Softfactors: «Wir laden andere Bewerber zum Vorstellungsgespräch ein als vorher.»

Um den Algorithmus mit Daten zu füttern, müssen alle Stellensuchenden einen Online-Fragebogen ausfüllen. So erfasst die Software persönliche Attribute wie Empathie- oder Problemlösungsvermögen. Wenn die Antworten eines Bewerbers mit den Wunschwerten der Schule Opfikon übereinstimmen, landet er ganz oben auf der automatisch generierten Rangliste.

«Dank der Software laden wir andere Bewerber zum Vorstellungsgespräch ein als vorher.»

Norbert Zeller, Schulpräsident Opfikon ZH

«Weil alle Bewerber ein Online-Assessment machen, ist das Auswahlverfahren fairer», sagt Schulpräsident Zeller. Statt die Dossiers nur nach harten Faktoren wie Diplomen zu bewerten, zählten von Anfang an auch Softfaktoren wie Teamfähigkeit. Das Programm unterstütze die Personalabteilung nur, so Zeller, es ersetze keine Menschen. Wenn sich die Computerformel bewährt, darf sie künftig vielleicht auch Lehrerbewerbungen sortieren.

Beim Konsumgüterriesen Unilever ist der Algorithmus bereits zum Personalchef mutiert. In Thayngen SH müssen sich Hochschulabgänger drei Bewerbungsrunden lang ein Gefecht mit dem Computer liefern, bevor sie einen Menschen sehen. Der Milliardenkonzern hat weltweit 280'000 Stellensuchende so aussortiert, berichtet das «Wall Street Journal». Das Programm HireVue filmt dabei Mimik, Antwortgeschwindigkeit oder Wortwahl der Kandidaten. Wenn die Bewegungen nicht den Vorgaben der Maschine entsprechen, landet der Kandidat unten auf der Rangliste.

«Die Macht verlagert sich in immer mehr Bereichen von den Menschen hin zu Algorithmen», sagt Bestsellerautor Yuval Harari im Interview mit dem Beobachter Algorithmen «Was Kinder heute lernen, wird bald bedeutungslos sein» . «Die Algorithmen werden uns nicht versklaven. Vielmehr werden sie Entscheidungen für uns so gut treffen, dass wir verrückt wären, ihrem Rat nicht zu folgen.»

Der israelische Geschichtsprofessor spricht in seinem Erfolgsbuch «Homo Deus» von einer Ära des menschlichen Autonomieverlusts. Menschen unterwerfen sich Algorithmen aus Bequemlichkeit, um genügend Schritte pro Tag zu gehen oder den richtigen Partner zu finden. In den nächsten Jahren werde uns die Technologie Fähigkeiten wie das Entscheiden rauben. Automatische Navigationsgeräte wie Google Maps oder TomTom beginnen bereits den menschlichen Orientierungssinn zu trüben, wollen Forscher herausgefunden haben.

Noch haben die Algorithmen nicht gewonnen. Die EU schränkt ab 25. Mai erstmals die Macht der Maschinen über die Menschen ein. Wenn Computerformeln «automatisierte Entscheidungen» treffen, die das Leben einer Person «erheblich beeinträchtigen», kann der betroffene Bürger eine Zweitbeurteilung durch einen Menschen verlangen, besagt die neue Datenschutz-Grundverordnung.

Die Schweiz will diese Formulierung in ihr neues Datenschutzgesetz übernehmen. Der Umgang mit Algorithmen muss laut dem eidgenössischen Datenschutzbeauftragten Adrian Lobsiger dringend geregelt werden. Der Gesetzesentwurf soll den Konsumenten Rechte garantieren, die eigentlich selbstverständlich sind. Etwa dass Betroffene über Ergebnis, Zustandekommen und Auswirkungen des «automatisierten Einzelentscheids» informiert werden.

Kunden wie Thomas Fischer würden erfahren, dass ein Algorithmus den Kreditzins bestimmt hat. Damit sie sich überhaupt wehren können. Oder die Bank wechseln.

* Name geändert