К концу XIX в. Больцман, Гиббс и немецкий физик Макс Планк уточнили формулы, описывающие энергию и энтропию систем, состоящих из атомов. В частности, они обнаружили, что энтропия системы пропорциональна количеству битов, необходимых для описания микроскопического состояния атомов, соответствующего некоторому макросостоянию. Этот результат был столь полезен для описания обмена между теплотой и энергией, что формула, которая его описывает, выгравирована на могиле Больцмана. Энтропия традиционно обозначается символом S, а число различных возможных микросостояний (или «цветов лица», complexions, как называл их Планк) – символом W. Здесь W может быть числом микросостояний отдельного атома или системы, состоящей из атомов.
Эпитафия на могиле Больцмана гласит: «S = k log W», и это просто математически изысканный способ сказать, что энтропия объекта пропорциональна числу битов, записанных его микросостоянием. То же самое можно выразить и по-другому: энтропия пропорциональна длине числа возможных микросостояний, если записать его в двоичной системе счисления. В этой формуле k называют постоянной Больцмана.
Пауль и Татьяна Эренфест
[14], которые сделали важный вклад на начальном этапе исследований энтропии, указывали, что эту формулу на самом деле впервые предложил Планк, и поэтому константу, которую мы называем «постоянной Больцмана», они называли «постоянной Планка». Но, как мы увидим, когда будем рассматривать квантовую механику, именем Планка уже названа довольно важная константа. Чтобы избежать путаницы, а также увековечить заслуги Больцмана, символу «k» дали его имя. (Больцман славился своим угрюмым характером – он покончил с собой вскоре после визита в Соединенные Штаты в 1906 г. Остается только гадать, что бы он сделал, если бы узнал, что на его могильном камне выбита чужая формула.)
Максвелл, Больцман, Гиббс и Планк обнаружили, что энтропия пропорциональна числу битов информации, записанной в микроскопических движениях атомов. Конечно, эти ученые XIX в. еще не думали, что их открытие относится главным образом к информации. В то время энтропию не измеряли в битах, и они считали, что их открытие корректно описывает термодинамическую энтропию – величину, которая ограничивает эффективность тепловых машин. Они были правы, разумеется, и поскольку тогда энтропию не измеряли в битах, полученную ими безразмерную величину log W нужно было умножить на постоянную Больцмана, чтобы преобразовать энтропию с точки зрения информации в обычную термодинамическую энтропию Клаузиуса. Неважно, осознавали они это или нет, но пионеры статистической механики вывели формулу для вычисления информации за пятьдесят лет до того, как возникла математическая теория информации.
Но как физическая система, например газ, записывает и сохраняет информацию? Возьмем детский воздушный шарик, заполненный гелием. Атомы гелия в воздушном шарике носятся с места на место, сталкиваясь друг с другом и с оболочкой шарика. Каждый атом гелия есть носитель информации, а именно – количества информации, необходимого для описания того, где он находится (положение), куда и как быстро он движется (скорость). Чтобы измерить количество информации, которую содержит атом, следует определить самый малый масштаб, то есть степень точности, с которой могут быть описаны положение и скорость атома. Тогда число битов, которые содержит данный атом, будет равно числу битов, необходимых для того, чтобы определить его положение и скорость с точностью, заданной этим самым малым масштабом. Позже мы увидим, что пределы точности, с которыми могут быть измерены положение и скорость, определяются квантовой механикой. С учетом этого естественного масштаба каждый атом в воздушном шарике содержит около 20 битов. Количество информации, записанной всеми атомами гелия в воздушном шарике, является произведением этой величины на количество атомов, а их примерно 6х1023. Таким образом, гелий в воздушном шарике содержит примерно десять миллионов миллиардов миллиардов (1025) битов информации.
Это очень много информации. Книга, которую вы держите в руках, содержит лишь несколько миллионов битов информации
[15]. Миллионы книг библиотеки Конгресса содержат миллионы миллионов битов. Все компьютеры в мире в настоящее время содержат миллиард миллиардов битов, если не больше. И все же все биты информации, созданные человеком в письменном или электронном виде, все равно не могут сравниться с количеством информации, записанной атомами гелия в одном воздушном шарике.
Конечно, биты информации, которую содержат атомы гелия в воздушном шарике, не тянут на приключенческий роман. Как и тексты, напечатанные обезьяной на пишущей машинке, биты, запечатленные атомами, с очень высокой вероятностью представляют собой бессмыслицу. Даже если положения и скорости атомов гелия в какой-то момент времени вдруг можно расшифровать как полный текст «Гамлета» (а мы уже знаем, что это крайне маловероятно), секунду спустя эти биты снова «рассыплются» в случайную картину.
Принцип Ландауэра
Второе начало термодинамики гласит, что общая сумма информации никогда не уменьшается. Для нашего воздушного шарика это значит, что количество битов информации, записанной атомами гелия, не станет меньше, если воздушный шарик останется в состоянии покоя. Конечно, если мы охладим воздушный шарик, сожмем или проткнем его, количество битов, хранимых атомами гелия в нем, может уменьшиться – но только за счет увеличения числа битов, записанных атомами воздуха, окружающими воздушный шарик.
Информацию можно создать, но невозможно уничтожить. Воздействием на бит его значение можно инвертировать, то есть заменить противоположным или заставить бит «переключиться». Информация при этом трансформируется: 0 превращается в 1 и наоборот. И в то же время она сохраняется: если мы знаем, что до воздействия значение бита было 0, то мы знаем, что после «щелчка» его значение будет 1.
Существует, конечно, и стирание – это процесс, который уничтожает информацию. В процессе стирания бит с первоначальным значением 0 остается нулем, а бит со значением 1 превращается в 0. Стирание разрушает информацию, имевшуюся в этом бите. Но законы физики не допускают существования процесса, который просто стирает биты, и ничего больше. Любой процесс, который стирает бит в одном месте, должен перенести то же самое количество информации в какое-то другое место. Это называется принципом Ландауэра, по имени Рольфа Ландауэра, пионера физики информации, который и обнаружил его в начале 1960-х гг.
Чтобы увидеть принцип Ландауэра в действии, давайте посмотрим, как биты стираются в компьютерах. Как мы говорили во второй главе, в современном электронном компьютере биты хранятся в конденсаторе. Конденсатор – это ведро для электронов. Когда мы заряжаем конденсатор, то помещаем электроны в ведро; когда мы разряжаем его, то извлекаем электроны из ведра. В компьютере незаряженный конденсатор хранит 0, а заряженный конденсатор хранит 1.
