Сообщение “В Оксфорде на этой неделе ежедневно шел дождь” несет сравнительно мало информации, потому что получателя оно не удивит. С другой стороны, количество информации в сообщении “В пустыне Сахара на этой неделе ежедневно шел дождь” намного больше и вполне стоит того, чтобы подороже заплатить за его пересылку. Шеннон хотел как-то передать этот смысл количества информации как “меры удивительности”. Он связан с другим смыслом (как “того, что не продублировано в других частях сообщения”), потому что повторы теряют свою способность удивлять. Заметьте, что шенноновское определение количества информации не зависит от того, истинна ли она. Придуманная им мера информации была остроумна и интуитивно соответствовала задаче. Давайте, предложил он, оценим количество незнания или неопределенности знаний получателя до получения сообщения, а затем сравним его с количеством оставшегося незнания после получения сообщения. Сокращение количества незнания и будет количеством переданной информации. Шенноновская единица измерения информации — бит (bit), от binary digit (двоичная цифра). Один бит определяется как количество информации, необходимое, чтобы первоначальная неопределенность сократилась вдвое, как бы велика она ни была (читатели-математики заметят, что бит, таким образом, относится к логарифмическим единицам измерения).
На практике вначале нужно найти способ измерения априорной неопределенности — той, что сокращается, когда поступает информация. Для некоторых разновидностей простых сообщений это легко сделать с помощью вероятностей. Будущий отец с нетерпением наблюдает через окошко за рождением своего ребенка. Ему не видно почти ничего, поэтому одна из медсестер согласилась показать ему розовую карточку, если родится девочка, или голубую, если родится мальчик. Сколько информации передается, когда сестра показывает счастливому отцу, скажем, розовую карточку? Ответ — один бит (априорная неопределенность сократилась вдвое). Отец знает, что родился какой-то ребенок, поэтому неопределенность его знаний сводится к двум возможностям (мальчик или девочка), которые для целей этого обсуждения можно считать равновероятными. Розовая карточка вдвое сокращает априорную неопределенность от двух возможностей до одной (девочка). Если бы никакой розовой карточки не было, а из родильной комнаты вышел бы врач, пожал бы новоиспеченному отцу руку и сказал: “Поздравляю, старина, я очень рад, что мне выпала честь первым вам сообщить, — у вас родилась дочь”, то количество информации, переданной этим сообщением в семнадцать слов, составило бы по-прежнему один бит.
Компьютерная информация содержится в последовательностях нолей и единиц. Есть только два возможных варианта, поэтому 0 или 1 в каждом положении содержит один бит информации. Объем памяти компьютера или емкость диска или ленты часто измеряется в битах и представляет собой суммарное число нолей или единиц, которые это устройство может содержать. Для некоторых целей более удобной единицей измерения служит байт (восемь бит), килобайт (тысяча байт), мегабайт (миллион байт) или гигабайт (тысяча миллионов байт)
[121]
. Заметьте, что эти числа относятся к суммарной имеющейся емкости. Это максимальное количество информации, которую можно записать на данное устройство. Реальное количество записанной информации — это нечто иное. К примеру, емкость моего жесткого диска — 4,2 гигабайт. Из них в настоящий момент около 1,4 гигабайт реально использованы для хранения данных. Но даже это не настоящее количество информации (в шенноновском смысле слова) на моем диске. Настоящее количество информации меньше, потому что ту же информацию можно записать экономнее. Некоторое представление о настоящем количестве информации можно получить, воспользовавшись одной из замечательных программ-архиваторов вроде Stuffit. Эта программа ищет избыточность в последовательности нолей и единиц и ощутимо сокращает эту последовательность путем перекодировки, очищая ее от внутренней предсказуемости. Максимального сжатия информации можно было бы добиться (на практике это, по-видимому, невозможно), если бы каждая единица или ноль удивляли бы нас в равной степени. Прежде чем передавать большие объемы информации через интернет, ее обычно архивируют, сокращая ее избыточность
[122]
.
Все это хорошо с точки зрения экономики. Но с другой стороны, сохранять некоторую избыточность в сообщениях, ради исправления ошибок, тоже неплохая идея. Если в сообщении, совершенно лишенном избыточности, произошла ошибка, восстановить его исходный смысл уже никак невозможно. В машинные коды часто преднамеренно включают избыточные “биты контроля четности”, помогающие находить ошибки. У ДНК тоже есть различные механизмы исправления ошибок, основанные на избыточности. Когда я перейду к разговору о геномах, я вернусь к разнице между упомянутыми тремя понятиями: суммарной информационной емкости, реально использованной информационной емкости и настоящим количеством информации.
Открытие Шеннона состояло в том, что информацию любого рода, независимо от ее смысла, ее истинности или ложности, ее физического носителя, можно измерять в битах и переводить на любой другой носитель. Великий биолог Джон Б. С. Холдейн использовал теорию Шеннона, чтобы подсчитать число бит информации, передаваемое рабочей пчелой своим соседям по улью, когда она “танцует”, сообщая о местоположении источника пищи (около трех бит, чтобы сообщить направление на этот источник, и еще три бита, чтобы сообщить расстояние до него). В тех же самых единицах, как я недавно подсчитал, мне понадобилось бы сто двадцать мегабит машинной памяти моего лэптопа, чтобы записать торжественные вступительные аккорды симфонической поэмы Рихарда Штрауса “Так говорил Заратустра” (“тема из ‘Космической одиссеи 2001 годаʼ”), которые я хотел проиграть в середине одной лекции об эволюции. Экономический метод Шеннона также позволяет сосчитать, сколько модемного времени потребуется, чтобы послать полный текст книги издателю в другую страну. Спустя пятьдесят лет после открытия Шеннона его идея информации как предмета потребления, такого же измеримого и взаимопревраща-емого, как деньги или энергия, окончательно вступила в свои права.
