Так, крупные компании — производители компьютеров могут специально вызывать ошибки в системе, чтобы протестировать реакцию компании. Например, чтобы проверить, что резервные и дублирующие системы действительно работают, преднамеренно отключается жизненно важная аппаратура. Может показаться опасным, что такие проверки выполняются, когда системы работают онлайн, обслуживают настоящих клиентов. Однако это единственный способ проверить эти огромные сложные системы. Небольшие тесты и симуляции не приносят столько стресса и неожиданных последствий, которые всегда сопровождают падения системы в реальной жизни.
Эрик Холлнагел, Дэвид Вудс и Нэнси Левесон, первопроходцы в этой области и авторы целой серии книг на эту тему, пришли к следующим выводам:
Устойчивое проектирование — это парадигма обеспечения безопасности, сосредоточенная на том, как люди под давлением обстоятельств справляются со сложностями и достигают успеха. Она противостоит всему тому, что так типично сегодня — парадигме, в которой ошибки просто подсчитывают, а потом принимают какие-то меры, чтобы снизить их количество. Устойчивое проектирование считает безопасность основной ценностью, а не товаром, который можно посчитать. На самом деле безопасность проявляется только за счет ситуаций, которые не происходят! Вместо того чтобы рассматривать прошлые успехи как повод снизить уровень инвестиций, такие организации продолжают вкладывать деньги в проектирование, потому что понимают: они не все знают о существующих пробелах в безопасности и постоянно меняющемся окружении. Одним из параметров устойчивости, таким образом, можно назвать способность к предвидению — к предугадыванию постоянно меняющихся форм опасности до того, как случится авария, которая нанесет существенный вред. (Цитируется с разрешения издателя. Hollnagel, Woods, & Leveson, 2006, с. 6.)
Парадокс автоматизации
Машины становятся умнее. Все больше и больше заданий выполняется автоматически. И люди начинают думать, что многие проблемы, вызванные необходимостью контролировать машины, скоро исчезнут. Автомобильные аварии каждый год убивают и калечат десятки миллионов человек по всему миру. Когда мы наконец перейдем на самоуправляющиеся машины, возможно, количество аварий и смертельных случаев резко снизится, подобно тому, как автоматизация на заводах и в авиации позволила повысить эффективность и снизить количество ошибок и травм
[51].
Если автоматизация работает — это прекрасно, но, когда она не справляется со своими функциями, эффект, который производит вышедшее из строя оборудование, обычно бывает непредсказуем и, следовательно, опасен. Сегодня автоматизация и сетевые системы производства электроэнергии позволили нам сократить перебои в подаче электроэнергии. Но если в электросети все же случается сбой, от этого страдают огромные территории, а на восстановление сети могут уйти недели. Я думаю, что с машинами на автопилоте будет происходить меньше аварий, и мы будем иметь меньше повреждений, но, когда аварии все-таки будут происходить, — они будут страшными.
Автоматы становятся все более и более способными. Автоматические системы могут выполнять задания, которые раньше выполняли люди: поддерживать нужную температуру, удерживать автомобиль на нужной полосе и на правильной дистанции от впереди идущей машины. Самолеты могут весь полет, от взлета до посадки, двигаться на автопилоте, корабли — прокладывать курс в открытом море. Когда работают автоматические системы, они обычно выполняют задания так же, как люди, или лучше. Более того, они избавляют людей от скучных рутинных заданий, помогают с большей пользой и продуктивностью потратить время, позволяют меньше уставать и реже ошибаться. Но когда задание становится слишком сложным, автоматические системы сдаются, хотя именно в этот момент они нужны нам больше всего. Парадокс заключается в том, что автоматы могут выполнять скучные и занудные задачи, но не справляются со сложными заданиями.
Нередко автоматические системы дают сбой без предупреждения. Я подробно рассматривал такие ситуации в других своих книгах и во множестве статей, как и многие другие исследователи вопросов безопасности и автоматизации. Когда происходит сбой, люди оказываются «вне цикла». Это означает, что они не слишком внимательно следят за происходящим и требуется определенное время, чтобы сбой заметили, оценили и решили, как реагировать.
Когда отключаются автоматические системы самолета, у пилотов обычно есть в запасе много времени, чтобы оценить ситуацию и правильно среагировать. Самолеты летают высоко: выше десяти километров над поверхностью земли, поэтому, даже если самолет вот-вот начнет падать, у пилотов будет несколько минут на то, чтобы как-то среагировать. Кроме того, пилоты очень хорошо обучены. Когда автоматика отключается в автомобиле, у водителя может быть лишь доля секунды, чтобы избежать несчастного случая. И это слишком сложно даже для очень опытного водителя, а большинство автомобилистов не могут похвастать солидным опытом вождения.
В других случаях, например на кораблях, у человека может быть больше времени, чтобы среагировать, но лишь в том случае, если сбой автоматики заметили. В 1997 году круизное судно Royal Majesty село на мель — аппаратура работала неправильно несколько дней, и это заметили только при проведении расследования крушения, после того как корабль сел на мель и компания потерпела ущерб в несколько миллионов долларов
[52]. Что произошло? Местоположение корабля обычно определяет система глобального позиционирования (GPS), но провод, с помощью которого спутниковая антенна была подключена к системе навигации, каким-то образом отсоединился (никто так и не понял, как именно). В итоге система навигации перешла с использования сигнала GPS в режим «точный расчет траектории», высчитывая местоположение корабля, прикидывая его скорость и направление движения. Дизайн системы навигации не позволил людям заметить это. Таким образом корабль, который следовал с Бермудских островов в Бостон, отклонился слишком далеко к югу и сел на мель у полуострова Кейп-Код к югу от Бостона. Автоматическая система безотказно работала много лет, поэтому люди доверяли ей и полагались на нее, а значит, не проверяли местоположение корабля вручную и не слишком внимательно наблюдали за дисплеем. Никто не заметил крошечных букв «dr», указывавших на то, что система переключилась на режим «точный расчет траектории» (англ. «dead reckoning»). Это была грандиозная ошибка режима.
