Лечение пациентов в сфере здравоохранения все чаще определяется алгоритмами. Согласно текущим руководящим принципам США, назначение пациентам гиполипидемических препаратов или лекарств от гипертонии больше не зависит в первую очередь от холестерина ЛПНП или измеренного артериального давления. Решающим фактором является 10-летний риск сердечно-сосудистых заболеваний. Калькулятор рисков — это относительно простой и понятный вариант алгоритма.

Но появляется все больше и больше программ, которые перестают быть прозрачными для пользователей. Врачи университетской клиники в Бостоне, возможно, задавались вопросом, почему компьютер их палаты выбирает белых пациентов чаще, чем пациентов афроамериканского происхождения для «управления медицинскими услугами с высоким риском». Это специальные программы, предназначенные для защиты диабетиков, например, от поздних осложнений болезни. Врачи, возможно, знали из своего клинического опыта, что афроамериканцы с большей вероятностью имеют повышенный уровень сахара в крови и другие компоненты метаболического синдрома. Однако их выбирали реже из соображений предотвращения рисков.

Команда, возглавляемая Сендхилом Муллайнатаном из Чикагского университета, нашла причину в исследовании. Алгоритм изначально не был запрограммирован на пациентов европейского происхождения (что, конечно, было бы легко сделать математически). Расистское искажение произошло потому, что производитель слишком упростил для себя программирование алгоритма. За основу были выбраны предыдущие расходы пациента на медицинское обслуживание. Они часто ниже у социально незащищенных пациентов (вопреки широко распространенным предрассудкам), поскольку они реже обращаются к врачу и их труднее мотивировать на лечение, улучшающее их здоровье.

Алгоритм усиливает эту тенденцию в смысле самоисполняющегося пророчества: тем, кто с таким же риском пользовался меньшим количеством медицинских услуг до обследования, позже алгоритм предлагал меньше. В результате пациенты дважды оказываются в невыгодном положении, и дискриминация не окупается для несущих расходы, потому что она выбирает группу, которая в конечном итоге генерирует самые высокие затраты на последующее наблюдение.

Исследователи из США смогли распознать дисбаланс, потому что производитель дал им представление об алгоритме. После перепрограммирования процент афроамериканцев, получивших систему управления рисками, увеличился с 17,7 до 46,5 процентов.

Производители, конечно, не показываются на карте. Алгоритм часто является экономической основой вашей компании, и страх интеллектуальной кражи велик. Еще сложнее становится, если алгоритм разрабатывал искусственный интеллект. Тогда программисты уже не знают, какие факторы были учтены в расчетах.

Есть два возможных решения. С одной стороны, может происходить «социальный» контроль алгоритмов. Вы должны обеспечить, чтобы все социальные группы в равной степени получали выгоду от запущенных программ. Второе решение — это анализ затрат и выгод. Для страховщиков здоровья вопрос заключается в том, действительно ли алгоритм обеспечивает эффект экономии, избегая вторичных заболеваний.