Алгоритм Compas, работавший на американскую полицию с 1998 года, занимался анализом данных подсудимых, а затем на основе полученной информации помогал решить, например, стоит ли отпускать преступника под залог или же лучше оставить под стражей. Выбирая меру пресечения, система учитывала возраст, пол и послужной список на криминальном поприще. За 20 лет «службы» алгоритм оценил более миллиона человек, но недавно его признали некомпетентным, после чего он немедленно был отозван.
Ученые из Дартмутского колледжа проверили, насколько точна система и можно ли ей доверять. Для этого они набрали фрилансеров, обычных людей без юридического образования, вынести собственные решения на основе коротких справок о людях, выдав испытуемым информацию о поле, возрасте, уголовном прошлом и ещё нескольких параметрах.
Точность прогноза располагавших небольшим досье фрилансеров составила почти 70 процентов, программа же отстала от людей на пять процентов, при этом опираясь на 137 пунктов биографии. Анализ суждений алгоритма показал, что чернокожие заключённые чаще находятся у программы под подозрением.
«Ошибки в таких случаях могут очень дорого стоить, поэтому стоит задуматься, а нужно ли вообще применять этот алгоритм для вынесения судебных вердиктов», — говорит один из авторов исследования.
Изучив принцип работы алгоритма, исследователи пришли к выводу, что чем младше подсудимый и чем больше арестов у него за плечами, тем выше вероятность рецидива, поэтому специалисты в области ИИ признали технологию неблагонадёжной.