В данном примере принятое в статистической физике определение энтропии соответствует просто доле всех эквивалентных состояний (на самом деле это логарифм доли, однако эта формальность не имеет отношения к тому, что я пытаюсь сказать). Таким образом, энтропия является наименьшей, когда люди сидят максимально близко или максимально далеко от поля, поскольку существует только один способ такого размещения людей.
[23] Энтропия является наибольшей, когда средним из занятых рядов является центральный, поскольку существует много способов размещения людей на местах, при которых средним занятым рядом будет центральный. В предложенном Больцманом определении энтропия представляет собой множество эквивалентных состояний. В случае со стадионом наибольшее число эквивалентных состояний существует тогда, когда средним из заполненных рядов является центральный.
Следует отметить, что энтропия, которая обычно ассоциируется с беспорядком, не является мерой беспорядка. Энтропия – это мера множества состояний (количества эквивалентных состояний). Тем не менее неупорядоченных состояний, как правило, бывает больше, поэтому на практике состояния высокой энтропии, скорее всего, будут неупорядоченными. Именно поэтому приравнивание беспорядка к энтропии не является таким уж неудачным упрощением. Однако увеличение энтропии может не сопровождаться увеличением беспорядка. Рассмотрим случай с расширением газа в коробке, которая удваивается в размере (или распространение людей по стадиону, увеличивающемуся в два раза). Энтропия газа увеличивается с размером коробки, поскольку в коробке большего размера существует больше вариантов организации частиц газа. Тем не менее газ в большей коробке не является более неупорядоченным, чем газ в меньшей коробке.
Шеннон был заинтересован в передаче микросостояния системы, например отдельного твита или расположения сидящих на нашем гипотетическом стадионе людей, поэтому он приравнял понятие информации к понятию энтропии, часто используя эти слова как синонимы. Передача сообщения об одном микросостоянии, в котором средним из занятых рядов является центральный, требует больше бит, так как при этом условии существует множество эквивалентных микросостояний, поэтому для передачи данных о некотором микросостоянии требуется создать очень конкретное сообщение. Таким образом, на языке Шеннона понятия информации и энтропии функционально эквивалентны, поскольку количество битов, необходимых для создания сообщения (информация по Шеннону), представляет собой функцию от числа возможных сообщений, которые могут быть переданы (множество состояний, которое мы понимаем как энтропию). Но, это не делает энтропию и информацию одним и тем же. Лауреат Нобелевской премии по химии 1967 года Манфред Эйген заметил: «Энтропия относится к среднему (физическому) состоянию, а информация – к конкретному (физическому) состоянию».
[24]
Однако тот факт, что нам требуется больше битов для передачи сообщения о состоянии, в котором каждый человек случайно выбрал место на стадионе или в котором биты на жестком диске были случайным образом перемешаны, не означает, что эти состояния заключают в себе больше порядка или информации. Информация подразумевает увеличение количества битов, но это еще не все. В примере со стадионом множество состояний, при которых люди выбрали места случайно, характеризуется наивысшим значением энтропии, но при этом самым низким значением упорядоченности (хотя некоторые из этих состояний могут быть весьма упорядоченными). В самом деле, в области естественных наук и среди широкой общественности давно существует традиция приравнивания понятия информации к чему-то большему, чем биты, к тому, что подразумевает порядок. Подумайте о генетиках, разговаривающих об информации, содержащейся в ДНК, или об информации, содержащейся в музыкальных партитурах, на катушке пленки или в книге. В данных примерах слово «информация» говорит о присутствии порядка, а не только о количестве битов, необходимых для передачи сообщения о генетической последовательности, книги или нот.
Однако упорядоченные состояния являются редкими и своеобразными. Сначала я объясню, что я имею в виду под словом «редкий» в данном контексте. Далее я объясню своеобразие информационно насыщенных состояний, которое подразумевает корреляции, придающие слову «информация» его широко распространенный разговорный смысл.
Чтобы объяснить редкость упорядоченных состояний, я расширю пример со стадионом до того, что описывал Больцман в контексте атомов. Предположим, что стадион наполовину полон, но люди не могут свободно передвигаться. Теперь разрешены только те состояния, в которых средним из занимаемых рядов является центральный. В случае с физической системой это равносильно фиксированию энергии системы. Тем не менее, поскольку существует много различных состояний, в которых средним из занятых рядов является центральный, система по-прежнему предоставляет на выбор множество вариантов. Большинство этих состояний являются достаточно случайными. Другие, однако, весьма своеобразны. Люди на стадионе могут действовать подобно пикселам на экране, поэтому в некоторых из этих состояний комбинации сидящих людей могут образовывать такие слова, как «информация», или изображения лица. Однако насколько часто встречаются такие своеобразные состояния?
Для определения часто встречающихся состояний нам нужно наметить множество всех возможных состояний. Один из способов заключается в том, чтобы посмотреть, как эти состояния связаны. Мы можем сказать, что два состояния связны между собой, если я могу перейти от одного к другому с помощью простого преобразования. Для простоты давайте рассмотрим все преобразования, при которых каждый зритель может пересесть на соседнее место, при условии, что новое состояние удовлетворяет ограничению, касающемуся среднего ряда. К числу этих преобразований относятся те, при которых каждый зритель пересаживается на одно место справа, а также преобразования, при которых человек на нижней половине стадиона пересаживается на одно место вверх, а человек на верхней половине стадиона пересаживается на одно место вниз.
В принципе мы можем использовать эти преобразования, чтобы прийти к любому состоянию. Однако на практике достижение какого-либо состояния не является таким уж простым делом. Если мы позволим людям на стадионе пересаживаться на соседние места, выбранные случайным образом (разумеется, допуская только те преобразования, которые удовлетворяют ограничению, касающемуся среднего ряда), мы никогда не получим комбинации, которые образуют слова или изображения. Эти состояния очень редки и труднодостижимы. Данное упражнение позволяет проиллюстрировать определение информации, подразумевающее наличие порядка. В физической системе информация представляет собой понятие, обратное энтропии, поскольку оно предполагает редкие и сильно коррелирующие конфигурации, которые трудно получить.
