В конечном итоге возможны два варианта: либо демоническая версия гипотезы о прошлом (у демона в самом начале в руках чистый блокнот, обладающий низкой энтропией, и демон переносит энтропию газа в блокнот), либо процесс переноса энтропии во внешний мир, необходимый для того, чтобы стирать информацию в блокноте. В любом случае можно перевести дыхание: второе начало термодинамики в безопасности. И кстати, в ходе расследования мы неожиданно открыли дверь в захватывающий мир взаимосвязей между информацией и энтропией.
Информация — физическая величина
Несмотря на то что, обсуждая динамические законы физики, мы то и дело произносили слово «информация» — обратимые законы сохраняют информацию, само это понятие все так же кажется несколько абстрактным по сравнению с беспорядочным миром энергии, тепла и энтропии. Один из уроков, которые преподает нам демон Максвелла, заключается в том, что это мнение ошибочно. Информация — физическая величина. А именно благодаря наличию информации мы можем заставлять систему производить полезную работу, которая в противном случае была бы нам недоступна.
Лео Силард наглядно продемонстрировал это на упрощенной модели демона Максвелла. Вообразите, что в контейнере с газом содержится одна-единственная молекула; следовательно, «температура» представляет собой всего лишь энергию этой одинокой молекулы газа. Если это вся информация, которой мы обладаем, то заставить молекулу произвести полезную работу у нас не получится; она хаотично летает от стенки к стенке, как камешек в жестяном ведре. Однако теперь представьте себе, что у нас появилась дополнительная информация: нам известно, в какой половине контейнера находится молекула — в правой или в левой. Основываясь на этом знании и применив хитрые манипуляции, возможные лишь в мысленном эксперименте, мы можем заставить молекулу работать. Для этого нам нужно просто-напросто быстренько вставить поршень в противоположную половину контейнера. Молекула врежется в поршень и нажмет на него, а мы используем движение поршня для выполнения полезной работы, например поворота маховика.
[157]
Обратите внимание на то, какую важную роль в эксперименте Силарда играет информация. Если бы мы не знали, в какой половине контейнера находится молекула, то не догадывались бы, в какую половину нужно вставить поршень. Если бы мы случайным образом выбирали, в какую половину контейнера вставить поршень, то в половине случаев он бы выталкивался наружу, а в половине — затягивался внутрь. В среднем никакой полезной работы бы не производилось. Информация, которой мы обладаем, позволила нам извлечь энергию из системы, и так, казалось бы, находящейся на максимальном уровне энтропии.
Повторю еще раз, чтобы ни у кого не оставалось сомнений: ни в одном из этих мысленных экспериментов мы не нарушили второе начало термодинамики. Да, эти эксперименты выглядят так, будто мы действительно нашли способ нарушить этот физический закон, — но стоит принять во внимание критически важную роль информации, как все становится на свои места. Информация, которую собирает и обрабатывает демон, должна каким-то образом учитываться в любой согласованной и непротиворечивой истории, включающей энтропию.
Конкретная связь между энтропией и информацией была установлена в 1940-х Клодом Шэнноном, инженером и математиком, трудившимся в «Bell Labs».
[158] Одна из задач, которую решил Шэннон, состояла в поиске эффективных и надежных способов отправки сигналов по зашумленным каналам. Он высказал идею о том, что одни сообщения несут эффективно больше информации, чем другие, просто потому, что они более «удивительные» или неожиданные. Если я скажу, что солнце завтра взойдет на востоке, то не передам вам никакой особой информации, потому что этот факт и так уже был вам известен. Однако если я скажу, что завтра максимальная температура составит ровно 25 °С, то это уже будет сообщение, содержащее больший объем информации, потому что без этого вы бы не знали, какую точно температуру ожидать завтра.
Шэннон нашел способ, как формализовать эту интуитивную идею об эффективном информационном наполнении сообщения. Предположим, что мы рассматриваем набор из всех возможных сообщений определенного типа, которые мы могли бы получить (правда же, это навевает воспоминания о «пространстве состояний», с которым мы работали при обсуждении физических систем, а не сообщений?). Например, если речь идет о результатах подбрасывания монеты, то возможных сообщений только два: «орел» или «решка». До того как мы получаем сообщение, оба варианта одинаково вероятны; тот факт, что мы получаем сообщение, означает, что мы узнаем ровно один бит информации.
Если же, с другой стороны, нам рассказывают о максимальной температуре завтра днем, то набор возможных сообщений становится куда больше: скажем, это может быть любое целое число от –273 и до плюс бесконечности, представляющее собой температуру, выраженную в градусах Цельсия (температура –273 °С соответствует абсолютному нулю). Однако не все эти варианты одинаково вероятны. Летом в Лос-Анджелесе наиболее вероятна температура 27–28 °C, тогда как зафиксировать температуру –13 или +4324 °C относительно сложно. Узнав, что завтрашняя температура лежит в области этих «невероятных» значений, мы действительно получаем огромный объем информации (по всей видимости, связанной с какой-то глобальной катастрофой).
Грубо говоря, информационное наполнение сообщения возрастает по мере того, как вероятность получения данного сообщения уменьшается. Однако Шэннону хотелось большей конкретики в формулировках. В частности, он хотел показать, что если мы получим два сообщения, совершенно независимых друг от друга, то общая полученная информация будет равна сумме информации, извлеченной из каждого индивидуального сообщения. (Вспомните, что, когда Больцман разрабатывал свою формулу энтропии, одно из свойств, которые он стремился воспроизвести, заключалось в следующем: энтропия полной системы равна сумме энтропий подсистем.) Попробовав то и это, Шэннон выяснил, что самым правильным будет взять логарифм вероятности получения конкретного сообщения. В конечном итоге он пришел к такому результату: количество информации, содержащееся в сообщении, равно логарифму вероятности того, что сообщение примет данный вид, со знаком минус.
