Есть и другие, технические причины того, что наивное применение методов машинного обучения может привести к тенденциозным результатам. Например, меньшинства, по определению, хуже представлены в общенациональных выборках данных, отсюда прогнозы относительно отдельных представителей меньшинств могут быть менее точными, если делаются, главным образом, на основании данных, полученных от других членов той же группы. К счастью, много внимания уже уделяется проблеме устранения непреднамеренной необъективности из алгоритмов машинного обучения, и сейчас имеются методы, обеспечивающие неискаженные результаты согласно целому ряду обоснованных и приемлемых определений объективности
[183]. Математический анализ этих определений объективности показывает, что соответствие им всем одновременно невозможно, и если это делается принудительно, то приводит к меньшей точности прогнозов, а в случае кредитных решений — к меньшей прибыли заимодавца. Возможно, это разочаровывает, но, по крайней мере, проясняет компромисс, сопутствующий устранению алгоритмического смещения. Будем надеяться, что знание об этих методах и о самой проблеме быстро распространится среди представителей власти, специалистов и пользователей.
Итак, передача машинам власти над отдельными людьми может вызывать проблемы. Как насчет власти над массами людей? А именно — должны ли мы доверять машинам роли политиков и управленцев? В настоящее время этот вопрос может показаться надуманным. Машины не способны поддерживать продолжительный разговор и не имеют фундаментального понимания факторов, связанных с принятием широкомасштабных решений, например о повышении минимальной заработной платы или отклонении предложения другой корпорации о слиянии. Однако тенденция очевидна: машины во многих сферах принимают все более высокоуровневые решения. Рассмотрим, к примеру, авиалинии. Сначала компьютеры помогали составлять расписание полетов. Вскоре они занялись подбором экипажей, бронированием мест и управлением текущей деятельностью. Затем они были подключены к всемирным информационным сетям, чтобы создавать в реальном времени отчеты о состоянии дел для менеджеров авиалиний, чтобы те могли эффективно решать возникающие проблемы. Теперь они берут на себя управление проблемами: изменение маршрутов и графиков работы персонала, изменение брони и пересмотр графика обслуживания оборудования.
Все это к лучшему с точки зрения экономики авиалиний и удобства пассажиров. Вопрос в том, остаются ли компьютерные системы инструментом для людей или люди становятся инструментом для компьютерных систем — поставляющим информацию и при необходимости исправляющим ошибки, но уже не имеющим сколько-нибудь полного представления о том, как работает вся система. Ответ становится ясен, когда система дает сбой и во всем мире воцаряется хаос, пока ее не вернут в онлайновый режим. Например, единственный компьютерный «глюк» 3 апреля 2018 г. привел к значительной задержке или отмене 15 000 полетов в Европе
[184]. Когда биржевые алгоритмы вызвали в 2010 г. «обвал» на Нью-Йоркской фондовой бирже, уничтожив $1 трлн за несколько минут, единственным решением стало прервать операции. Что тогда произошло, до сих пор не вполне ясно.
Когда еще не было никаких технологий, люди жили, как большинство животных, на грани голодной смерти. Мы, так сказать, стояли непосредственно на земле. Технология постепенно вознесла нас на вершину пирамиды из машин, увеличив наши возможности оставить свой след как лично, так и всем нашим биологическим видом. Мы по-разному можем построить отношения между людьми и машинами. Если мы организуем их так, чтобы люди сохраняли достаточное понимание, власть и автономию, технологические части системы могут невероятно повысить возможности человека, позволив каждому из нас стоять на огромной пирамиде возможностей — можно сказать, быть полубогом. Взглянем, однако, на упаковщицу со склада онлайнового магазина. Она продуктивнее своих предшественников, потому что пользуется небольшой армией роботов, подносящих ей ячейки хранения, откуда она набирает товары, но она является частью большой системы, управляемой интеллектуальными алгоритмами, которые решают, где ей стоять, какие товары брать и отсылать. Она уже частично погрузилась в пирамиду, а не стоит на ее вершине. Лишь вопрос времени, когда песок заполнит просветы внутри пирамиды и она станет не нужна.
Глава 5. Слишком интеллектуальный ИИ
«Проблема гориллы»
Не нужно особого воображения, чтобы понять: неразумно создавать сущность, более умную, чем мы сами. Мы понимаем, что власть над средой и другими биологическими видами является следствием нашей разумности, и мысль о еще более умной сущности, будь то робот или инопланетянин, тут же вызывает тошнотворное чувство.
Около 10 млн лет назад предки современной гориллы создали (честно говоря, по случайности) генетическую линию, ведущую к современным людям. Как гориллы к этому относятся? Очевидно, если бы они были способны рассказать нам о нынешнем положении своего вида в сравнении с людьми, то сошлись бы на крайне негативном мнении. У их вида, в сущности, нет будущего, кроме того, которое мы ему позволим. Мы не хотим оказаться в аналогичной ситуации перед лицом сверхинтеллектуальных машин. Я называю это «проблемой гориллы»: сумеют ли люди сохранить превосходство и автономию в мире, включающем машины с существенно более высоким интеллектом?
Чарльз Бэббидж и Ада Лавлейс, разработавшие и написавшие программы для аналитической машины в 1842 г., сознавали ее потенциал, но, по-видимому, не беспокоились из-за этого
[185]. В 1847 г., однако, Ричард Торнтон, редактор религиозного журнала Primitive Expounder, яростно выступил против механических калькуляторов
[186]:
