Die Patientenversorgung im Gesundheitswesen wird zunehmend von Algorithmen getrieben. Nach den aktuellen US-Richtlinien hängt die Verschreibung von lipidsenkenden oder Bluthochdruck-Medikamenten an Patienten nicht mehr primär vom LDL-Cholesterin oder dem gemessenen Blutdruck ab. Entscheidend ist das 10-Jahres-Risiko für Herz-Kreislauf-Erkrankungen. Der Risikorechner ist eine relativ einfache und unkomplizierte Version des Algorithmus.

Aber es gibt immer mehr Programme, die für die Benutzer nicht mehr transparent sind. Ärzte des Universitätskrankenhauses in Boston haben sich vielleicht gefragt, warum ihr Stationscomputer weiße Patienten mehr als afroamerikanische Patienten für das „Hochrisiko-Gesundheitsmanagement“ auswählte. Das sind spezielle Programme, die zum Beispiel Diabetiker vor Spätkomplikationen der Krankheit schützen sollen. Ärzte haben möglicherweise aus ihrer klinischen Erfahrung gewusst, dass Afroamerikaner mit größerer Wahrscheinlichkeit hohen Blutzucker und andere Komponenten des metabolischen Syndroms haben. Aus Gründen der Risikoprävention wurden sie jedoch seltener gewählt.

Ein Team um Sendhil Mullinathan von der University of Chicago fand die Ursache in einer Studie. Der Algorithmus war ursprünglich nicht für Patienten europäischer Herkunft programmiert (was natürlich mathematisch einfach zu bewerkstelligen wäre). Die rassistische Falschdarstellung geschah, weil der Hersteller es sich zu einfach machte, den Algorithmus zu programmieren. Als Basis wurden die bisherigen Arztkosten des Patienten gewählt. Sie sind bei sozial benachteiligten Patienten (entgegen landläufiger Vorurteile) oft geringer, weil sie seltener zum Arzt gehen und schwerer für eine gesundheitsfördernde Behandlung zu motivieren sind.

Der Algorithmus verstärkt diesen Trend im Sinne einer sich selbst erfüllenden Prophezeiung: Wer bei gleichem Risiko vor der Untersuchung weniger medizinische Leistungen in Anspruch genommen hat, dem bot der Algorithmus später weniger. Dadurch werden Patienten doppelt benachteiligt und Diskriminierung zahlt sich für Kostenträger nicht aus, weil sie die Gruppe selektiert, die letztlich die höchsten Folgekosten verursacht.

Die US-Forscher konnten das Ungleichgewicht erkennen, weil der Hersteller ihnen Einblick in den Algorithmus gewährte. Nach der Neuprogrammierung stieg der Anteil der Afroamerikaner, die ein Risikomanagementsystem erhielten, von 17,7 Prozent auf 46,5 Prozent.

Hersteller werden natürlich nicht auf der Karte angezeigt. Der Algorithmus ist oft das wirtschaftliche Rückgrat Ihres Unternehmens, und die Angst vor geistigem Diebstahl ist groß. Noch schwieriger wird es, wenn der Algorithmus von künstlicher Intelligenz entwickelt wurde. Dann wissen die Programmierer nicht mehr, welche Faktoren bei den Berechnungen berücksichtigt wurden.

Es gibt zwei mögliche Lösungen. Einerseits kann es zu einer „sozialen“ Kontrolle von Algorithmen kommen. Sie müssen sicherstellen, dass alle gesellschaftlichen Gruppen gleichermaßen von den gestarteten Programmen profitieren. Die zweite Lösung ist eine Kosten-Nutzen-Analyse. Für die Krankenkassen stellt sich die Frage, ob der Algorithmus tatsächlich Kosteneinsparungen durch die Vermeidung von Folgeerkrankungen bringt.