Обратите внимание, что разделение информации на известную и неизвестную до некоторой степени субъективно. Разные люди знают разные вещи. Допустим, например, вы отправили мне короткое электронное письмо, содержащее 100 битов информации. Вы знаете, что это за биты, ведь это вы их отправили. Для вас информация этого электронного письма известна. Пока я не открою это письмо, я не знаю, что это за биты: для меня они все еще невидимы, и на этой стадии я бы посчитал эти 100 битов энтропией. Поэтому разные наблюдатели могут придавать разное значение энтропии системы. Помните демона Максвелла? Он контролирует микроскопические состояния газа, и у него больше информации, чем у наблюдателя, который просто знает температуру и давление газа. Соответственно, для демона в газе меньше энтропии, чем для стороннего наблюдателя. Для целей второго начала термодинамики важно общее количество информации в физической системе. Общее количество информации в физической системе, известной и неизвестной, не зависит от того, кто и как наблюдает за ней.
Предположим, неизвестный бит информации взаимодействует с известным битом информации. После этого взаимодействия первый бит по-прежнему остается неизвестным, но теперь и второй бит тоже становится неизвестным. Неизвестный бит как бы заразил известный, распространяя неведение и увеличивая общую энтропию системы. Идеи вычисления, о которых мы говорили выше, можно использовать для того, чтобы прояснить «заразную» природу неведения.
Возьмем два бита. Значение первого неизвестно – оно может быть или 0, или 1. Значение второго бита известно – скажем, это 0. Таким образом, оба бита вместе находятся в состоянии 00 или 10. Теперь применим к битам следующую простую логическую операцию. Инвертируем второй бит, но если и только если первый бит равен 1. Эту операцию можно назвать «условное не» (controlled-not), потому что она выполняет инверсию (или операцию «не») со вторым битом, используя как сигнал управления состояние первого бита (который в данном случае неизвестен).
Итак, если первый бит будет равен 1, то операция «условное не» изменит второй бит с 0 на 1. Если значение первого бита – 0, то после операции «условное не» значение второго бита останется равным 0. Таким образом, после операции «условное не» пара битов будет или в состоянии 00, или в состоянии 11. Теперь два бита коррелируют – то есть имеют одно и то же значение. Если мы посмотрим на первый бит, то узнаем значение второго бита, и наоборот.
Мы как не знали значение первого бита, так и не знаем его после выполнения операции: он по-прежнему находится в состоянии 0 или в состоянии 1. Но посмотрим на второй бит. Теперь он тоже может находиться в состоянии 0 или 1. Второй бит, значение которого до операции было 0, теперь тоже имеет неизвестное значение. Операция «условное не» заставила неизвестную информацию первого бита «заразить» второй бит – незнание распространилось! (Распространение неведения обратимо. Чтобы вернуть оба бита в исходное состояние, нужно выполнить операцию «условное не» повторно. Операция «условное не» является обратной по отношению к самой себе: выполнить ее дважды – все равно что не делать ничего вообще.)
Распространение неведения увеличивает энтропию отдельных битов в системе. Энтропия первого бита по-прежнему составляет один бит, но энтропия второго увеличивается. Тем не менее энтропия пары битов, взятых вместе, остается постоянной! Перед операцией «условное не» два бита могли находиться в одном из двух состояний – 00 или 10. В системе один бит энтропии – в первом бите из пары. После операции «условное не» пара битов может находиться в одном из двух состояний – 00 или 11. Мы по-прежнему видим один бит энтропии, но теперь он распределен между двумя битами.
Распространение неведения отражается в росте величины, которая называется «взаимная информация». У каждого бита после операции есть собственный бит энтропии, но у двух битов, взятых вместе, тоже есть только один бит энтропии. Взаимная информация равняется сумме энтропий, взятых по отдельности, минус энтропия двух битов, взятых вместе. Другими словами, у двух битов есть ровно один бит взаимной информации. Какую бы информацию они ни содержали, они содержат ее вместе.
Неведение атомов
«Заразный» характер информации относится и к сталкивающимся атомам, и к битам в вычислении. Идею о том, что энтропия отдельных атомов газа имеет тенденцию увеличиваться, впервые выдвинул Людвиг Больцман в 1880-х гг. Больцман определил величину, которую назвал «H», как степень, до которой мы знаем положение и скорость любого данного атома газа.
Величина «H» Больцмана фактически является энтропией отдельного атома, умноженного на минус один. Больцман показал, что, когда положения и скорости атомов не коррелирует, то есть независимы друг от друга, столкновения между ними уменьшают «H» и увеличивают энтропию отдельных атомов. Последующие столкновения, утверждал он, продолжат увеличивать эту энтропию. Он пришел к выводу, что его H-теорема является обоснованием второго начала термодинамики и доказывает математически, что энтропия должна увеличиваться.
Проблема H-теоремы Больцмана состоит в том, что она, строго говоря, не является истинной для атомов газа. Больцман был прав в том, что столкновения между первоначально некоррелирующими атомами увеличивают энтропии отдельных атомов. Эти энтропии увеличиваются из-за «заразного» характера информации. Когда сталкиваются два атома, любая неопределенность по поводу положения и скорости первого атома имеет тенденцию «заражать» второй атом, делая его положение и скорость более неопределенными и тем самым увеличивая его энтропию. Такое увеличение энтропии второго атома похоже на увеличение энтропии второго бита, описанного выше, когда этот бит был подвергнут операцией «условное не», где неизвестный бит выступал в роли управляющего.
Ошибка H-теоремы связана с последующими столкновениями атомов. Если два атома столкнулись и обменялись информацией, последующие столкновения могут уменьшить энтропию отдельных атомов. Чтобы понять, как взаимодействие между двумя атомами, которые сталкивались раньше, может уменьшить их энтропию, вернитесь к паре битов, которую мы обсуждали выше. При первом применении операции «условное не» энтропия управляющего бита заразила второй бит, увеличив его энтропию на один бит. Но если операцию «условное не» применить снова, второй бит восстанавливает свое первоначальное, известное состояние, уменьшая свою энтропию на один бит.
В принципе, похожую обратную операцию, результатом которой будет аналогичное уменьшение энтропии, можно придумать и для атомов. Когда Больцман представил свою H-теорему как доказательство второго начала термодинамики, его коллега Йозеф Лошмидт указал, что H-теорема не может быть всегда истинной, ведь обращением скоростей атомов можно «взять назад» их столкновение и уменьшить их энтропии. (Гипотетическое существо, которое могло бы изменить скорости атомов на противоположные, называют демоном Лошмидта. В те времена у всех были свои демоны.) Услышав этот (правильный) аргумент, Больцман был вынужден прибегнуть к сарказму: «Валяйте, обратите их».
Первоначальный довод Больцмана в пользу его H-теоремы был основан на предположении о природе столкновений атомов, получившем название «гипотезы молекулярного хаоса». Даже если положения и скорости двух атомов могли бы иметь корреляцию до их столкновения, утверждал Больцман, многократные столкновения между многими атомами должны ослаблять эту корреляцию, и, в сущности, два сталкивающихся атома газа не должны быть коррелированными в момент столкновения. Сразу после столкновения положения и скорости двух атомов коррелируют. Но поскольку они продолжают сталкиваться с другими атомами, их корреляция друг с другом должна ослабевать. Больцман утверждал, что к моменту следующего столкновения эти два атома можно рассматривать как не имеющие корреляции, то есть как будто они никогда не сталкивались раньше. Если предположение о молекулярном хаосе справедливо, то энтропии отдельных атомов почти всегда увеличиваются. Это увеличение можно в принципе отменить, если обратить процесс столкновения, а-ля Лошмидт. Но на практике такое обращение происходит редко.
