В мире, где господствует неравенство и где мы создаем ценовые алгоритмы, анализирующие то, как выглядит мир, женщины, бедные и представители меньшинств будут неизбежно платить больше. Математиков это постоянно удивляет; а вот женщины, малообеспеченные и представители меньшинств не удивляются совершенно. Раса, пол, уровень жизни – очевидным и изощренным образом все эти факторы становятся значимыми. Для женщин стоимость парикмахерских услуг, химчистки, бритв и даже дезодоранта будет выше, чем для мужчин. Стоимость курсов подготовки к Академическому оценочному тесту (SAT) для американцев азиатского происхождения в два раза выше
[96]. Афроамериканцы получают меньше чаевых, чем их белые коллеги
[97]. Быть бедным также означает платить больше за предметы первой необходимости. Мебель, купленная в рассрочку, окажется дороже, чем покупка с немедленной оплатой. У «кредитов до получки» гораздо более высокий процент, чем у банковских займов. Жилищные условия считаются подъемными, если ежемесячный взнос составляет до 30 % заработной платы, однако бедным приходится априори платить больше из-за факторов банальной экономической нестабильности. «В Милуоки большинство бедных арендаторов платит как минимум половину собственного дохода, треть из них отдает и 80 %», – пишет социолог Пат Шарки в рецензии на две этнографические работы: Мэттью Десмонда «Изгнанные: Бедность и выгода американского города» (Evicted: Poverty and Profit in the American City) и Митчелл Дунае «Гетто: Изобретение места и история идеи» (Ghetto: The Invention of a Place, the History of an Idea)
[98]. Феномен неравенства несправедлив, при этом он не является редкостью. И, если в рамках машинного обучения все это будет продолжаться, мы не сдвинемся с мертвой точки к более справедливому обществу. «Обаяние технологии объяснимо – в нем сошлись древние надежды на предсказание будущего с современным уклоном в статистическую строгость, – пишет в своей книге «Общество черного ящика» (The Black Box Society) профессор права и эксперт в области этики искусственного интеллекта Фрэнк Паскаль. – Тем не менее в обстановке секретности плохая информация, скорее всего, будет использоваться в качестве хорошей, что приведет к несправедливым и даже катастрофическим прогнозам»
[99].
Отчасти это происходит из-за того, что при принятии социальных решений мы пользуемся машинным обучением, при котором числа скрывают важный социальный контекст. В случае с «Титаником» мы выбрали классификатор выживания и для его предсказания обратились к известным факторам. Но могли быть и другие. Например, массив данных для «Титаника» включает в себя информацию о возрасте, поле и прочее. И прогноз был сделан с опорой на данные, которыми мы обладали. Однако, поскольку это событие не из математической задачки, а из реальной жизни, вероятнее всего, имели место и иные факторы.
Рассмотрим подробнее ночь катастрофы. От находящихся неподалеку судов «Титаник» получал множество предупреждений об айсбергах по своему курсу на 14 апреля 1912 г. В 23:42 лайнер столкнулся с айсбергом. Сразу после полуночи капитан Эдвард Джон Смит оповестил пассажиров и начал эвакуацию. Он отдал приказ: «Сажать женщин и детей, затем травить тали!» Первый офицер Уильям Мердок отвечал за спасательные шлюпки на правом борту. Второй офицер Чарльз Лайтоллер – за левый. Каждый из них по-разному понял приказ капитана. Мердок подумал, что капитан велел сажать в шлюпки женщин и детей в первую очередь. Лайтоллер посчитал, что сажать в шлюпку нужно только женщин и детей. В итоге Мердок сажал в шлюпку мужчин тогда, когда поблизости не оставалось женщин или детей. Лайтоллер сажал женщин и детей в шлюпки и затем опускал их на воду – даже если еще оставались свободные места. Оба опускали шлюпки, рассчитанные на 65 человек, даже тогда, когда они не были заняты полностью. При этом на борту было недостаточно шлюпок: всего 20 на 3547 человек, хотя, по самым скромным расчетам, на судне предполагалось 892 члена команды и 1320 пассажиров.
Со спасательными шлюпками можно провести занимательный тест. Номера шлюпок на борту Мердока были нечетными, на борту Лайтоллера – четными. И, возможно, мужчины выживали также в зависимости от той шлюпки, в которой оказались, ведь Лайтоллер не сажал в шлюпки мужчин. Однако в имеющихся у нас данных не было информации о номерах шлюпок. А это принципиальная проблема. И, к сожалению, закономерность, связанную с номерами шлюпок, невозможно установить до тех пор, пока информация о них не превратится в компьютерные данные, которые машина способна обработать. Компьютер не может выяснить что-то потенциально значимое для нас. Но человек – может.
Мы также видим здесь ошибочную причинно-следственную связь. Ведь если бы мы располагали данными о номерах шлюпок, то могли бы решить, что мужчины, находившиеся в шлюпках с нечетными номерами, имели больше шансов пережить крушение «Титаника». Тогда, опираясь на результаты, нам следовало бы сделать вывод, что впредь все шлюпки должны быть нечетными, ведь это повышает шансы на выживание в критической ситуации. Конечно, это смешно. Не номер шлюпки, но офицер – вот что действительно имело значение.
История двух молодых людей также вносит коррективы в чисто математические расчеты. В художественном бестселлере Уолтера Лорда «Ночь, которую стоит помнить» (A Night to Remember) идет речь о последних часах «Титаника»
[100]. Лорд рассказывает историю 17-летнего Джека Тейера, севшего на борт в Шербуре, во Франции, после долгих каникул в Европе с родителями. На «Титанике» Тейер познакомился со своим ровесником, пассажиром 1-го класса Милтоном Лонгом. По мере развития катастрофических событий молодые люди помогали пассажирам добираться в безопасные места. К двум часам ночи, когда практически все спасательные шлюпки были спущены на воду, Тейер и Лонг помогали женщинам и детям забраться в них. К 2:15 последние шлюпки исчезли из виду. Корабль кренился на левый борт. Произошел взрыв, взрывная волна вырвалась на шлюпочную палубу. В этот момент повар Джон Коллинз стоял там, держа в руках ребенка, помогая стюарду и женщине из 3-го класса с двумя детьми. Его и других выбросило за борт. Ребенка вырвало из его рук взрывной волной.
Тейер и Лонг видели хаос на палубах. Внезапно везде погас свет – уровень воды на судне достиг котельной в бойлерной № 2. Теперь источником света остались только луна, звезды и фонари шлюпок, удаляющихся от тонущего лайнера. Обрушилась с грохотом вторая дымовая труба. Тейер и Лонг осмотрелись: шлюпки уплыли, а судна, идущего на помощь, видно не было. Они поняли, что пришло время покинуть борт. Друзья пожали друг другу руки и пожелали удачи. Лорд пишет:
Лонг перелезает через поручни, тем временем Тейер залезает на них и начинает расстегивать пальто. Свесившись и держась за поручни, Лонг посмотрел на Тейера и спросил: «Ты идешь, парень?»
