Пиксель. История одной точки - Элви Рэй Смит

и так далее. Проблема, как вы уже знаете, заключается в том, что для этого требуется аналоговая бесконечность.

Маленькая стрелка показывает амплитуду волны в конкретный момент. Копии этих маленьких стрелок перенесены вправо и повернуты, как описано ранее. Кривая, соединяющая кончики повернутых стрелок, тоже представляет собой волну. Когда вы мысленно добавите еще одну гофру между любой изображенной парой, используйте в качестве ее амплитуды соответствующую точку на получившейся справа волне.

Таким образом, отдельная волна Фурье для визуального потока изменяется как волна (или гофра) в пространстве, а также как волна во времени. Каждая точка на пульсирующей гофре представляет собой интенсивность света. Это колеблющееся желе пространства-времени с волновым ритмом во всех трех измерениях.

Итак, мы разобрались с одной волной. Теперь представьте, что их целое семейство, и каждая из них пульсирует в пространстве (с определенной частотой и амплитудой), а также во времени (с другой частотой и амплитудой). Это, пожалуй, уже выходит за границы воображения. Не трудно догадаться, почему на практике просто используют математику, кратко описывающую то же самое. Согласно великой идее Фурье, полный визуальный поток — это сумма таких совершенных волн множества частот и амплитуд (а также направлений и фаз). Визуальный поток — это музыка пространства-времени.

Согласно теореме выборки — замечательной идее Котельникова, — чтобы точно представить визуальный поток, нам нужно взять в нем выборку, или кадр, с удвоенной максимальной временнóй частотой. Какова может быть эта самая высокая частота? Здесь становится очевидной полная наивность первых создателей кино. Они, не обладая знаниями о самой высокой частоте, просто угадывали. Их больше волновала стоимость кинопленки, а не точность отображения. Более высокая частота кадров увеличивала расход кинопленки. Таким образом, в целях экономии использовали настолько низкую частоту дискретизации во времени, насколько это сходило с рук. Зарождающаяся киноиндустрия довольно быстро (к 1920-м годам) остановилась на 24 кадрах в секунду, что и стало стандартом почти на век.

Но, если говорить об идеальном мире, какая самая высокая частота в визуальном потоке должна волновать нас? Вспомните эмпирическое правило, которое мы обсуждали, говоря о частотах визуальной сцены: у резких краев очень высокие частоты. Мы удаляем любые слишком высокие частоты, слегка размывая сцену перед ее дискретизацией в пиксели. В противном случае выборка будет неудачной, а мы получим раздражающие артефакты, такие как зубчатые диагональные края, называемые ступеньками.

То же самое верно и для визуального потока — визуальной сцены, изменяющейся во времени. С ней работает тот же трюк. Острая «грань» в визуальном потоке — это внезапное изменение направления движения. Снова подумайте о проходящем мимо мужчине. Предположим, он размахивает руками. Момент, когда его рука полностью отводится назад, а затем меняет направление, чтобы начать движение вперед, и есть граница визуального потока. Или рассмотрим прыгающий мяч. Момент отскока — это резкий край в визуальном потоке. Эти края нужно «сгладить», прежде чем делать выборку кадров из визуального потока, тогда теорема отсчетов сработает точно. Другими словами, необходимо удалить слишком высокие временные частоты. В противном случае возникнут раздражающие артефакты, например вращающиеся назад колеса. Позже мы разберем эту проблему более подробно.

Идеальное восстановление из кадров

Как идеальный кинопроектор реконструирует визуальный поток из отдельных кадров? Как уже говорилось, это делается с помощью теоремы отсчетов по прямой аналогии с тем, как устройство отображения — дисплей — восстанавливает визуальную сцену из дискретных пикселей. Дисплей «разбрасывает» каждый пиксель с помощью разбрасывателя пикселей по пространству и суммирует результаты. Идеальный проектор «растягивает» каждый кадр с помощью растягивателя кадров во времени и суммирует результаты. Итак, что такое растягиватель кадра?

Рисунок 5.8 (вверху) напоминает нам, как выглядит идеальный «разбрасыватель» из теоремы отсчетов. В случае сокселей (звуковых элементов) это расширитель во времени. В случае с пикселями это поперечное сечение — в пространстве — идеального разбрасывателя пикселей. В случае с кинокадрами это поперечное сечение — во времени — идеального растягивателя кадров.

Этот идеальный разбрасыватель не может быть реализован на практике, потому что он имеет бесконечные размеры. Его колебания продолжаются бесконечно в любом направлении. На рисунке 5.8 (в центре) показано приближение, которое мы использовали в главе о Котельникове для практической реконструкции визуальной сцены из пикселей.

Но даже этот приблизительный разбрасыватель не подходит для старомодного мира аналогового кино из-за двух отрицательных лепестков — двух провалов ниже горизонтальной линии. Мы не знаем, как сделать свет проектора отрицательным (менее черным), поэтому мы не сможем реализовать описанный выше расширитель кадров. Однако мы могли бы использовать приближение на рисунке 5.8 (внизу).

Так как большинство не знакомы с идеей «растягивания» кадра, давайте рассмотрим, что она означает. На рисунке 5.9 время движется вправо, и точка в центре горизонтальной линии соответствует текущему времени кадра — момента, когда кадр максимального освещен проектором. Точка слева от центра обозначает время, когда предыдущий кадр достиг максимальной освещенности. Точка справа от центра показывает время следующего кадра — когда он достигнет максимальной освещенности, — и так далее. Если описывать подробно, то свет проектора появляется постепенно, пока идут предшествующие кадры (обозначены точками слева от центра). Он достигает полной интенсивности в момент времени текущего кадра (точка в центре). Затем он постепенно затухает в течение последующих кадров (точки справа от центра). Вот что значит растянуть кадр во времени.

Как вы помните, реконструкция по отсчетам выполняется через применение разбрасывания ко всем отсчетам и суммирование результатов. Здесь возникает некоторая сложность, потому что теперь мы растягиваем отсчет во времени, а не в пространстве. Следовательно, при просмотре текущего кадра мы всё еще видим два предыдущих кадра и начинаем видеть два следующих. Поскольку хорошие «разбрасыватели» перекрывают друг друга, идеальный проектор должен воспроизводить несколько кадров одновременно. Он суммирует их на проекционном объективе и, соответственно, на экране. Выбранный момент (вертикальная линия на рисунке 5.9) происходит непосредственно перед максимальным освещением текущего кадра. Освещенность предыдущего кадра уже упала примерно до одной трети от полной интенсивности, а предыдущего кадра — почти до нуля. Подсветка следующего кадра только начинает проявляться. Кадр после него еще вообще не освещен. Таким образом, четыре кадра вносят свой вклад в проецируемое изображение в выбранный момент. Перед нами, конечно же, текущий кадр, но также он дополняется двумя предыдущими и одним следующим.

Рис. 5.8

Тут нас поджидает сюрприз: такого кинопроектора никогда не было. Хотя теорема выборки утверждает, что такая идеальная киносистема могла бы существовать. Такой проектор реконструировал бы абсолютно плавный непрерывный визуальный поток. Наши глаза эволюционировали, чтобы воспринимать мир, представленный именно таким образом.