У каждого из этих людей был собственный прогностический рейтинг ареста – знакомо по фильмам, верно? У Борден он был высоким, поскольку она чернокожая. А у Пратера – низким, поскольку он белый. COMPAS, алгоритм анализа риска, попытался спрогнозировать, какова вероятность рецидивного поведения и повторного совершения правонарушений у задержанных. Northpointe, создатель COMPAS, – одна из многих компаний, стремящихся улучшить практики поддержания общественного порядка посредством количественных методов. Это не какое-то злое намерение; в большинстве из этих компаний работают благонамеренные криминалисты, верящие в то, что они действуют в рамках научных представлений о преступном поведении и подкрепляют свою работу данными. Разработчики и криминалисты системы COMPAS действительно верили, что, внедряя математическую формулу в процесс оценки вероятности совершения повторного преступления, они делают благое дело. «На фоне только лишь субъективных суждений объективные и стандартизированные инструменты являются наиболее эффективными методами определения мер, которые следует применять к каждому конкретному заключенному» – читаем в справке к системе COMPAS от 2009 г. из Калифорнийского отделения реабилитации и коррекции.
Проблема заключается в том, что математика не работает. «У чернокожих подсудимых по-прежнему было 77 % риска совершения жестокого преступления и 45 % риска совершения любого другого преступления», – продолжает Ангвин. ProPublica также опубликовала данные, использованные для анализа. Что хорошо, поскольку этот акт способствовал прозрачности системы правосудия; другие люди могли скачать их, поработать с ними и самостоятельно верифицировать проделанную издательством работу. А сама история спровоцировала бурю внутри сообщества профессионалов ИИ и машинного обучения. Последовал шквал обсуждений – в вежливой академическое форме, то есть люди писали много докладов и публиковали их онлайн. Один из наиболее важных докладов вышел под авторством Джона Клейнберга, профессора теории вычислительных машин Корнеллского университета, Маниша Рагхавана, выпускника Корнелла, и Сендхилла Муллэнатана, профессора экономики из Гарварда. Авторы, воспользовавшись математическим аппаратом, доказали, что система COMPAS не может одинаково справедливо оценивать чернокожих и белых. Ангвин пишет: «Они выяснили, что прогностический рейтинг риска может быть либо одинаково верен, либо одинаково неверен по отношению ко всем расам – но не к обеим. Разница заключалась в частоте новых обвинительных приговоров по отношению к черным и белым. “Если у вас два типа населения с изначально разными рейтингами, – сказал Клейнберг, – невозможно равнозначно удовлетворить оба определения справедливости”»
[136].
Короче, алгоритмы не работают объективно, поскольку люди внедрили в них свои стереотипы. Техношовинизм заставляет людей думать, что математические формулы, лежащие в основе программного кода, каким-то образом более справедливы в решении социальных проблемы – но это не так.
Данные системы основаны на анкете из 137 пунктов, которая заполняется во время теста. Результаты фиксируются в линейном уравнении – вроде тех, что вы решали в школе. Затем идентифицируется семь криминогенных потребностей или факторов риска. Среди них «образовательно-профессионально-финансовые дефициты и навыки достижения результата», «антисоциальные или криминальные контакты» и «семейно-брачнодисфункциональные отношения». Все эти характеристики – следствие бедности. А это уже что-то совершенно бредовое.
А тот факт, что в компании Northpointe никто не задумывался о том, что в анкете или результатах есть какие-либо предрассудки, напрямую связан с техношовинистским взглядом на мир. Те, кто верит, что математика и вычислительные мощности «объективны» или «честнее», вероятнее всего, убеждены, что неравенство и расизм можно буквально стереть одним кликом. Они воображают, будто цифровой мир другой, лучше реального и посредством превращения процессов принятия решений в вычисления можно сделать мир рациональнее. В небольших командах близких по духу людей такой тип мышления может показаться нормальным. При этом он не способствует равенству и справедливости.
Я не уверена, что у техноутопистов и либертарианцев получится сделать мир лучше посредством умножения количества используемых технологий. Сделать его удобнее – конечно, однако я не верю в такое видение будущего, где все оцифровано. И дело не только в предубеждениях, но и в поломках. Цифровая техника работает плохо и недолго
[137]. Со временем телефонные аккумуляторы перестают держать заряд достаточно долго. Компьютеры перестают работать из-за того, что за годы использования жесткий диск заполнился. Автоматические водяные краны перестают распознавать движения рук. Даже лифт в доме, где я живу, – казалось бы, система, изобретенная десятки лет назад и работающая посредством простейшего алгоритма, – постоянно чудит. Я живу в многоэтажном доме, где есть лишь одна лифтовая группа. Все холлы похожи друг на друга. В одном из лифтов что-то не так из-за проводки или блока управления, поэтому каждые несколько недель случается так, что вы нажимаете на кнопку нужного этажа, а лифт везет на этаж выше или ниже. И предсказать это невозможно. Много раз я поднималась на лифте, шла по коридору к «своей» квартире и, пытаясь открыть ее, понимала, что ключ не подходит. Ведь я была не на своем этаже. Подобное случается и с другими жителями дома. Мы болтаем об этом, пока едем в лифте.
Лифты – сложные механизмы, управляемые программами. Существует алгоритм, определяющий, какой лифт на какой этаж поедет и какой из них остановится по ходу. Среди алгоритмов тоже есть степени сложности: в новых лифтах функционируют алгоритмы, оптимизирующие путь следования в любой момент нажатия кнопки. В здании издательства The New York Times в лифтовом холле вы нажимаете на кнопку на консоли управления, и к вам приезжает лифт, который быстрее прочих довезет вас до нужного этажа, опираясь на этажи назначения, указанные другими людьми, следующими в вашем направлении. У лифта всего лишь одна цель, реализацией которой занимаются высококвалифицированные изобретатели, инженеры-конструкторы, инженеры-механики, менеджеры по продажам, маркетологи, дистрибьюторы, гарантийные службы и надзорные органы. И если все эти люди, работающие вместе десятилетиями, не могут заставить лифт в моем доме делать то, что он должен, мне не слишком верится, что другая группа не менее квалифицированных людей в другой цепи разработки и эксплуатации может заставить беспилотный автомобиль выполнять несколько задач одновременно, не убивая при этом ни меня, ни моего ребенка, ни детей, путешествующих на школьном автобусе, ни детей, стоящих недалеко на автобусной остановке.
Такие привычные устройства, как лифты или автоматические смесители воды, на самом деле имеют значение, поскольку служат индикаторами качества работы всей системы в целом. И пока эти штуки не работают как до́лжно, наивно полагать, что волшебным образом заработают другие, более сложные устройства.
