Удивительные числа Вселенной - Антонио Падилья

дает один бит информации. Если монета абсолютно перекошена в сторону орла (p = 1, q = 0) или решки (p = 0, q = 1), то подбрасывание вообще не даст никакой информации. Все остальные варианты лежат между этими крайними случаями.

Но как насчет более сложных вещей, которые действительно интересовали Шеннона, например букв, слов или даже предложений? Как измерить информацию, содержащуюся в них? Что ж, предположим, у вас есть первые несколько букв какого-то неизвестного слова: CHE. Сколько информации содержится в следующей букве, когда она станет известной? Если бы все буквы были равновероятными, мы бы сказали: 4,7 бита. Однако мы знаем, что это неверно. Попробуйте ввести буквы CHE, набирая сообщение на мобильном телефоне. Какие слова появляются в качестве подсказки? Вот некоторые из наиболее вероятных.

CHEERS

CHEAT

CHECK

Это заставляет предположить, что любая из букв Е, А и С имеет более высокую вероятность появления, чем, скажем, В. Если условиться, что буква А встречается с вероятностью p1, буква В — с вероятностью p2, буква С — с вероятностью p3 и т. д., вплоть до Z, имеющей вероятность p26, то, согласно Шеннону, количество информации в следующей букве будет таким:

I = —p1log2p1 — p2log2p2 — p3log2p3 — … — p26log2p26.

Как обычно, она измеряется в битах. Шеннон проверял способности носителей английского языка угадывать следующую букву в слове. Его эксперименты показали, что в среднем каждая буква содержит от 0,6 до 1,3 бита информации. Может показаться, что это немного, но именно поэтому письменный английский хорош для общения. Если какая-нибудь буква пропущена или введена неправильно, вы не потеряете слишком много информации и, скорее всего, сможете расшифровать th mxssage (или, в случае русского языка, эт сожбщение).

Самое примечательное свойство формулы Шеннона — ее сходство с другой формулой, которую более полувека назад вывел физик Джозайя Уиллард Гиббс. Мы коротко упомянули этого ученого в главе «Гугол», когда отправились на поиски двойников — в экспедицию, которая во многом опиралась на понятие энтропии. Тогда мы отметили, что энтропия подсчитывает микросостояния, но это подразумевало некоторое упрощение: такой метод верен только тогда, когда все микросостояния равновероятны. Именно Гиббс показал, как поступать в более общем случае. Если первое микросостояние имеет вероятность p1, второе — вероятность p2, третье — вероятность p3 и т. д., то энтропия вычисляется по следующей формуле:

S = —p1lnp1 — p2lnp2 — p3lnp3 — …

Поразительное сходство с формулой Шеннона. Разница в том, что Гиббс использует натуральные логарифмы, а Шеннон — логарифмы по основанию 2. На самом деле эта разница условна. Шеннон выбрал основание 2, поскольку хотел измерять информацию в битах, чтобы сравнивать ее с системой из двух исходов (например, при броске монеты). Но это всего лишь вопрос выбора. С тем же успехом вы могли бы измерять информацию в натах. Один нат равен 1 / ln2 ≈ 1,44 бита. В этом случае мы сравниваем информацию не со случаем двух исходов, а со случаем e ≈ 2,72 исхода. По какой-то причине природа предпочитает работать с натами, а не с битами, и, если мы соответствующим образом поменяем единицы измерения, формула Шеннона в точности совпадает с формулой Гиббса.

Действительно ли энтропия и информация — одно и то же? Я бы сказал «да». Обе эти величины измеряют степень таинственности и неопределенности, хотя и подходят к этому вопросу с нескольких разных точек зрения. Мы говорим об энтропии газа, яйца или трицератопса, потому что не можем быть уверены, в каком состоянии они находятся на самом деле. Есть много того, что мы не знаем или не желаем знать. По любому практическому определению трицератопс останется тем же трицератопсом, если мы изменим спин одного из электронов глубоко внутри его кишечника. В то же время энтропия учитывает всю эту неопределенность. Но представьте теперь, что этот вопрос вам небезразличен и вы решили определить спин этого электрона и все остальное, в чем у вас нет уверенности. Вы соберете ужасно много информации. Сколько? Ну это определяется тем, насколько велика была изначальная неопределенность, а это как раз энтропия.

Информация — это больше, чем просто абстрактная идея. Это физическая величина. Мы даже можем задаться вопросом о ее массе. Точное значение зависит от того, в каком виде хранится информация. Например, данные на вашем мобильном телефоне хранятся путем улавливания электронов в блоке памяти. Электроны в этой ловушке обладают чуть более высокой энергией по сравнению с электронами вне ловушки, и поскольку у них больше энергия, то у них больше и масса. Это верно в силу эквивалентности массы и энергии, которую Эйнштейн объяснил с помощью поэзии самого известного своего уравнения E = mc2. В среднем один бит данных добавляет около 10–26 миллиграммов массы. Чтобы масса вашего мобильного телефона увеличилась на вес пылинки, требуется, чтобы он хранил около 10 трлн гигабайт данных[70]. Согласно компании International Data Corporation, это размер глобальной датасферы, объединяющей всю совокупность данных мира.

Мы научились мастерски хранить информацию. Когда текстильщик XVIII века Базиль Бушон придумал, как управлять ткацким станком с помощью перфорированной ленты, в нескольких сантиметрах рулона помещалось всего несколько бит. Чтобы конкурировать с 64 гигабайтами, хранящимися в моем айфоне, Бушону понадобился бы длиннейший рулон ленты — в десять раз больше, чем расстояние от Земли до Луны. Мы уплотняем данные и втискиваем их во все уменьшающиеся пространства, по мере того как технологии ускоряются, чтобы не отставать от спроса. Выпустит ли когда-нибудь компания Apple телефон, способный хранить эти 10 трлн гигабайт?

Уже выпустила.

Мой айфон может использовать свои электронные ловушки для хранения 64 гигабайт фотографий, видеороликов и сообщений WhatsApp, однако он держит гораздо больше информации в другом месте — в полной сети атомов и молекул, из которых состоит. Беда в том, что эта дополнительная информация не особо для нас полезна. Мы не можем прочитать ее или изменить. Мы способны оценить ее величину, вычислив тепловую энтропию телефона. Это примерно 10 триллионов триллионов натов, то есть около 1000 трлн гигабайт[71]. Как видите, в этой микроскопической структуре содержится колоссальное количество данных, однако вы не можете использовать их, чтобы показать бабушке видеоролик, где дети играют с собакой в саду за домом. Возможно, когда-нибудь мы найдем способ хранить один бит данных в каждом из его атомов или даже в каждом из его кварков и электронов. Тогда емкость памяти мобильного телефона станет сопоставима с его тепловой энтропией. Если и когда это произойдет,