Поэтому вполне логично, что тут используются технологии, подобные игровым. Правда, если мы вспомним, что OpenGL, одна из двух основных библиотек для разработки 3D-игр, была создана именно для применения в таких задачах, можно усомниться, кто у кого заимствовал технологии. Правда, в дальнейшем большинство нововведений в графике сначала появлялось в игровой индустрии и лишь потом перекочевывало в профессиональные программы, упрощая работу моделлеров и аниматоров и все больше приближая картинку, с которой работает человек, к тому, что увидит зритель.
Потом realtime-алгоритмы «проникли» в производство аниматиков – это небольшие видеоролики, которые обычно создаются до начала съемок и серьезной работой над cg[Computer graphics – компьютерная графика]. Они нужны для согласования того, как режиссер «видит» сцену, с тем, как оператор ее отснимет, и с тем, что и как в последствии предстоит сделать компьютерщикам. Согласитесь, намного проще работать, когда можно взглянуть на окончательный результат, хотя бы и в сильном приближении. Для подобных задач важнее не качество, а оперативность внесения изменений. Иногда их приходится вносить непосредственно на съемочной площадке, когда нет ни желания, ни возможности подождать полчасика, пока «машина думает». В аниматеках чаще всего нет ни теней, ни сложного света, и даже текстуры вполне могут отсутствовать. Современные видеокарты с легкостью справляются с такими задачами.
Теперь перейдем к самому интересному – к финальному рендерингу. И фильмы, и игры состоят из последовательности кадров, при этом в обоих случаях кадр – это проекция трехмерного пространства, каким-то образом заполненного треугольниками (полигонами), на плоскость экрана. Оба действа разбиты на некоторые отрезки, на которых действие происходит в одном и том же окружении. Только в игре этот отрезок называется уровнем, а в кино – планом. Принципиальная разница только в одном – куда будут помещены результаты: на экран или в файл для последующего перенесения на пленку. Получается, что для столь похожих задач используются принципиально разные аппаратные средства (GPU и CPU). Тут, конечно, можно увидеть игру букв GPU – Games, CPU – Cinematograph. Но причина отнюдь не в буквах – для решения этих задач применяются принципиально разные алгоритмы.
Описывать принцип действия GPU, думаю, смысла нет, а вот на технологиях «большого» рендеринга следует остановиться. В некотором роде они стремились как можно в большей степени подражать природе. При расчете освещения, например, часто используется технология, повторяющая естественный ход лучей, с многочисленными отражениями и преломлениями (метод фотонных карт). Для этого из источника света «испускается» большое количество фотонов, а на все объекты натягивается дополнительная текстура, в которой будет храниться информация об освещении. Если фотон попадает на поверхность какого-либо предмета, то он оставляет в его текстуре освещенности след и либо отражается, либо проходит сквозь предмет, преломляясь. После некоторого количества отражений или после того, как энергия фотона стала слишком мала, он умирает. Таким образом, при достаточном количестве фотонов мы получаем кроме основных текстур для объектов еще и текстуру освещенности, которую можно использовать при дальнейшем рендеринге.
Вычислительная сложность этого алгоритма очень высока, ведь надо проследить путь каждого фотона. Зато он прекрасно параллелится – движение всех частиц абсолютно независимо.
Решение подобной задачи для сложной сцены может занимать много времени, и вполне понятно желание как-то ускорить процесс. По аналогии с 3D-играми и для рейтрейсеров стали появляться акселераторы. Компания Advanced Rendering Technology производит PCI-карту аж с восемью узкоспециализированными процессорами на борту. Она предназначена для профессионального применения и на некоторых задачах позволяет получить ускорение более чем в десять раз.
Мощности современных GPU могут пригодиться не только «тридешникам». Как нельзя кстати они подойдут и для нелинейного монтажа в реальном времени. Рассмотрим самый простой пример – переход между двумя последовательными кадрами, осложненный анимацией. Представьте, допустим, эффект перелистывания страницы, при этом конец первой видеопоследовательности продолжает идти на одной странице, а на другой уже начинается вторая. Нет ничего проще: загружаем кадры на видеокарту, моделируем 3D-сцену с перелистывающимися страницами, устанавливаем камеру и, последовательно выводя на страницы соответствующие кадры, получаем желаемый эффект.
Так же просто реализуются все эффекты взаимопроникновения кадров, но для этого уже лучше использовать пиксельные шейдеры. Можно сделать специальную текстуру перехода и выводить на экран пиксел со второй последовательности кадров, только если значение яркости на текстуре смешения стало меньше, чем номер кадра, деленный на их количество (в сцене перехода). Таким образом, нулевой кадр будет полностью из первой последовательности, последний – из второй, все же остальные будут смешаны из обоих в соответствии с текстурой перехода. Интересный эффект получится, если вместо текстуры перехода использовать одну из последовательностей. Тогда сначала будут заменены самые темные участки изображения, а лишь потом яркие.
На видеокарте можно решать и более сложные задачи совмещения видеопоследовательностей, когда кадр собирается из большого количества слоев и фрагментов. До недавнего времени главным препятствием для массового применения GPU в видеомонтаже было низкое качество рендеринга с узким динамическим диапазоном, но сейчас и эта проблема решена.
Также в киноиндустрии применяется большое количество операций фильтрации – когда значение пиксела заменяется суммой некоторого количества соседних пикселов с определенными весовыми коэффициентами. Подобным образом решаются задачи размытия, выделения границ, увеличения контрастности… да что там говорить, практически все, что может делать Photoshop, – это операции фильтрации. При помощи пиксельных шейдеров эти операции делаются напрямую. Они нужны в первую очередь на этапе обработки изображения после рендеринга. Здесь кроме разнообразной фильтрации применяется цветокоррекция, добавляются разнообразные плоские дымы, снег и осколки. С этим делом прекрасно справляется GPU.
Подводя итог, посмотрим, что может дать GPU киноиндустрии. Во-первых, он может существенно упростить труд моделлера, позволяя интерактивно работать с достаточно сложными моделями. Во-вторых – принципиально ускорить процесс рендеринга. Что позволит или уменьшить время работы над проектом, или улучшить качество финального результата. В-третьих, GPU способен оказать существенную помощь при монтаже, причем не только на стадии проектирования, где видеоускорители обосновались давным-давно, но и при просчете финального результата.
ТЕМА НОМЕРА: Перегнать, не догоняя
В последнее время на рынке появилось множество мониторов, дающих иллюзию трехмерности изображения. Большинство из них используются в паре с очками той или иной конструкции. Однако еще в 2000 году в России был создан дисплей, не требующий никаких дополнительных средств и дающий неплохое качество объемного изображения. Мы встретились и побеседовали с его создателем, старшим научным сотрудником факультета вычислительной математики и кибернетики Московского Государственного университета Андреем Лукьяницей.
Расскажите, пожалуйста, об устройстве вашего стереодисплея.
– Аппарат состоит из двух жидкокристаллических панелей, между которыми помещена специальная маска. Панели подключены к компьютеру, и на них выводятся изображения, рассчитанные с помощью искусственной нейросети. В результате в заданной области перед дисплеем формируется световое поле, которое соответствует трехмерному объекту, находящемуся за экраном. Идея гениально проста. «Гениальна» в том смысле, что проста. Для того чтобы появилось стереоизображение, необходимо, чтобы правый и левый глаза видели разные картинки. Как этого можно добиться? Обычно используют специальные очки: с красным и синим стеклами, поляризационные, shuttering[Очки, поочередно закрывающие правый и левый глаза. При этом на монитор выводится изображение, соответствующее открытому в данный момент глазу] и т. д. А здесь у вас просто есть два изображения, разнесенных по глубине. Когда вы на них смотрите, каждый глаз видит свою картинку (для левого и правого глаза суммируются разные пикселы, так как лучи идут под разными углами).
Это могли придумать несколько веков назад. На CеBIT 2000 мы ехали еще без дисплея. Уже была готовая численная модель, и мы показывали макет: рассчитали картинки, распечатали их на струйном принтере и закрепили канцелярскими зажимами к разнесенным по глубине стеклам. Если рассматривать
