Пиксель. История одной точки - Элви Рэй Смит

проектирования по определению подчиняются Центральной Догме. Их объекты должны существовать в реальном мире, подчиняющемся ньютоновским законом, и выдерживать физические испытания. Именно наличие общих исторических корней у компьютерной графики и САПР сделало Центральную Догму настолько естественной — и принятой по умолчанию — для иллюстративной компьютерной графики.

Специалисты по компьютерному зрению любят заявлять, что занимаются инверсией компьютерной графики. Они имеют в виду, что мозг на основе двумерных входных данных, полученных с сетчатки, генерирует трехмерные внутренние модели того, что воспринимает зрение. На самом деле мозг выполняет операцию, обратную той части компьютерной графики, которая подчиняется Центральной Догме.

И что дальше

Описанное в финальной главе обобщает содержание моей книги и развитие Цифрового Света к началу нового тысячелетия. Но прошло еще два десятилетия, в течение которых постоянно действующий закон Мура подпитывал еще более удивительные достижения в области Цифрового Света. Далее я кратко опишу лишь некоторые из них.

Использование Центральной Догмы в третьем тысячелетии

В современных системах виртуальной реальности (VR) стереопара изображений — по одному для каждого глаза — создается в режиме реального времени и в соответствии с данными, поступающими от пользователя (например, о положении его головы). Пользователь надевает специальные очки или шлем. Выполнение огромного объема вычислений в реальном времени непросто и требует значительных усилий. Но вспомните эмпирическое правило: если вы хотите, чтобы вычисления выполнялись быстрее, используйте специализированное оборудование. Алгоритмы те же, но ускорение реализуется на аппаратном уровне. Другими словами, те же методы, которые используются для создания цифровых фильмов, заложены в аппаратную часть оборудования для создания виртуальной реальности. Понимание того, как создаются пиксели для цифрового фильма, по большей части объясняет, как появляются пиксели виртуальной реальности. А для аппаратной части иногда достаточно возможностей вашего мобильного телефона (для понимания: iPhone появился в 2007 году, а система Android — годом позже, по большому счету буквально вчера).

Блок-схема из главы «Оттенки значения» естественным образом продолжается в направлении виртуальной реальности. Эрик Дарнелл, аниматор студии DreamWorks Animation, вместе с Морин Фан (в качестве генерального директора) основал в Кремниевой долине компанию Baobab Studios, занимающуюся виртуальной реальностью. Ключевые фигуры компании, такие как Ларри Катлер (технический директор), — выходцы из DreamWorks и Pixar. Консультантами стартапа стали Гленн Энтис из DreamWorks, Глен Кин из Disney и я — из Pixar. Компания Baobab уже создала и выпустила несколько короткометражных персонажных анимационных фильмов — в виртуальной реальности, — отмеченных профессиональными наградами. Точно так же сейчас создают VR-контент многие студии визуальных эффектов и игровые компании.

В настоящее время практический интерес в области Цифрового Света вызывает дополненная реальность (AR), где синтезированное изображение в режиме реального времени комбинируется с отображением реального мира. В ней сочетаются фиксация и создание, аналитический и синтетический Цифровой Свет. Реальный мир оцифровывается в режиме реального времени. Устройство дополненной реальности синтезирует вымышленный мир в реальном времени и объединяет его пиксели с пикселями реального мира, чтобы создать новый вид визуального восприятия. В простейших случаях происходит наложение синтетической сцены на реальную с использованием альфа-канала. Реальный мир — просто двумерный фон для синтетического переднего плана. На самом деле иногда реальный мир вообще не оцифровывается, а просто оптически комбинируется с синтетическими изображениями с помощью специальных очков.

Художница Дарси Гербарг — пионер исследований границ Цифрового Света с помощью дополненной реальности. Ее работа иллюстрирует категории этой книги. В качестве основных инструментов она использует программу для рисования в виртуальной реальности Tilt Brush от Google и Adobe Photoshop, классический двумерный пиксельный фоторедактор. Tilt Brush позволяет рисовать в трех измерениях с помощью мазков, соответствующих Центральной Догме. Они смоделированы в пространстве евклидовой геометрии, к ним применены текстурные карты, придающие им вид рельефных мазков, они отбрасывают тени в соответствии с ньютоновской физикой и рассматриваются в линейной перспективе. Художница совмещает рисунки в виртуальной реальности с изображениями из реального мира с помощью специальной программы в своем мобильном телефоне. Другими словами, она перемещается, рассматривая с выбранных точек зрения на экране мобильного телефона свои трехмерные VR-мазки, наложенные на двумерные изображения, скажем, интерьера студии. Затем она переносит понравившиеся сцены дополненной реальности в Photoshop и творчески изменяет содержимое пикселей по своему желанию. Ее работы затягивают вас в двумерное пространство новым и очень сильным способом, который не подчиняется Центральной Догме, а использует ее (рис. 9.2).

В настоящее время самой передовой областью Цифрового Cвета выступает еще более сложная концепция, которую часто называют смешанной реальностью (MR). В ней, в отличие от AR, компьютер воссоздает трехмерную структуру из реального мира, так что кажется, будто синтезированный мир осмысленно взаимодействует с ней — например, синтезированное животное вполне убедительно ходит по вашему столу в реальном мире. Это похоже на то, что делает наш мозг — операция, обратная компьютерной графике, разумеется, с учетом Центральной Догмы. В AR сочетаются только пространства Отображения реального и синтезированного миров. В MR объединяются пространства Творчества — переплетаются внутренние модели двух миров.

Сейчас, когда я пишу эту книгу (в 2020 году), существует несколько технологических подходов к MR: компания Microsoft продвигает свое устройство HoloLens, а стартап Magic Leap — прямую проекцию изображения на сетчатку. Мы пока еще ждем, когда эти — и другие — необычные устройства вступят в пору зрелости. Обратите внимание, что они представляют, соответственно, решения «до зрачка» и «после зрачка», используя терминологию из главы о фильмах и анимации. Зрачок здесь выступает жесткой границей между тем, что происходит снаружи и внутри нашего мозга.

Пока мы ждем взросления технологий смешанной реальности, в изобилии возникают технические вопросы. Будут ли объекты реального мира скрывать вычисляемые объекты? И отбрасывать на них тени? Будут ли вычисляемые объекты видны сквозь прозрачные объекты реального мира? Будут ли источники света реального мира изменять расположение теней на вычисляемых объектах? Эксперты, которым я задавал эти вопросы на Siggraph 2019 года, заверили меня, что некоторые ответы уже даны, но пока что защищены коммерческой тайной. Настоящее смешивание виртуального и реального мира кажется очень сложной проблемой. Это полная интеграция «фиксации и создания», «съемки и вычислений», синтез компьютерной графики и операции, обратной компьютерной графике, при том что обе подчиняются Центральной Догме. Несомненно, это достаточно серьезный вызов, чтобы подпитывать энтузиазм нового поколения специалистов по компьютерной графике и художников (а еще нейробиологов и авторов научной фантастики).

И только что появился новый термин, готовый охватить множество возможных направлений, в которых все это будет развиваться, — «расширенная реальность» (XR), означающая любое сочетание реальной и виртуальной среды.

Разновидности творчества