Большинство разработчиков и графических дизайнеров считают, что визуальные эффекты это модно и чем их больше, тем лучше. Пытаясь привнести что-то новое и блестящее в свой следующий продукт они забывают, что их цель создать художественную ценность, а не только технически сложную комбинацию. По факту, то что многим кажется технологичным и красивым на первый взгляд, может делать игру просто тяжело играбельной, а в некоторых случаях даже приносящей боль.
Этот ролик я бы хотел посвятить 5-ти эффектам попадающим в эту категорию. По моему мнению, если они полностью исчезнут из игр, игроки не потеряют ровным счётом ничего. Начну я с одного из наиболее часто встречаемых и раздражающих меня примеров.
Motion blur
Это один из самых зло употребляемых и ненужных эффектов в играх на сегодняшний день. Раньше он использовался только в гоночных играх при очень резком ускорении. Сейчас, вы так же можете увидеть Motion blur в гонках, вот только теперь, он есть абсолютно при любой скорости. Ну и конечно, стоит вам повернуть голову в любом шутере вы опять увидите ЕГО. Этот вид размытия превращает мир в кашу, меня начинает тошнить, а непосредственно игру я ощущаю только хуже.
Есть 2 типа размытия: первый относится к миру, с помощью которого тот превращается в мусор, второй применяется к моделям, он не настолько ужасен, но безусловно так же бесполезен. Наши компьютеры настолько мощны, что мы можем наслаждаться хорошей частотой смены кадров на экране монитора, нам не нужно скрывать красивый мир и движение персонажей за множеством неуклюжих пятен.
Eyeball grime
В последние пару лет, мы наблюдаем в играх тонкий слой пыли. Речь идёт не о пылинках которые вы видите через лучи солнца, создающие довольно опрятный эффект, а о тонком слое размазанной херни, преломляющей свет, вокруг вашего прицела или взгляда героя.
Этот кинематографический приём нужен для имитации слабости киноаппаратуры, но когда вы играете в FPS, вы представляете себя на месте героя-человека, а не на месте камеры с оружием в штативе. Eyeball grime не собирает тонкий слой пыли как настоящая камера, и не создаёт ярких бликов от источника света. Eyeball grime не даёт вам ничего, а только лишает возможности видеть что-либо, нарушая целостность игрового мира.
Chromatic aberration
Пришло время сказать вам о старом, разбитом фотоаппарате. Скажем привет хроматическим аберрациям, которые происходят из за испорченных линз, не дающим цвету возможности сосредоточится в определённом месте. Как результат мы видим размытые края объектов, имеющие красные, зеленые и синие разделения.
Film grain
Если бы ваша камера начала снимать в таком качестве, то вы бы не долго раздумываю выбросили её, но в играх разработчики не оставляют нам выбора. Они разрушают тщательно прорисованные линия своего творения, добавляя дополнительный уровень абстракции между нами и игровым миром.
Представьте себе, что в аудио файлы всей игры добавили шипение – это сравнимо с эффектом Film grain, другими словами визуальный шум. Даже там где это тематически оправдано, как например в Left 4 Dead , в котором это применяется для отсылки к трешовым фильмам про зомби, если взять и выключить это, станет только лучше и легче глазам. К счастью во многих играх есть возможность отключить это полностью.
Depth of field
Глубина резкости выглядит красиво в трейлере, но на практике это попытка сделать работу, которую делают наши глаза. Она отнимает у нас свободу выбора, решая за нас, что нам нужно смотреть, а что нет. Сохраняя фокус на одном объекте, этот эффект не позволяет нам ознакомится с игрой полностью, выбрасывая многие детали из поля нашего зрения.
Lens flare
Когда блики передают дополнительную информацию, они выглядят приемлемо, например когда источник света слишком яркий. У всех наших мониторов есть только простой белый цвет, который не позволяет передать свет солнца или что-то подобное. Для того чтобы показать игроку, что источник света является действительно ослепительным, всплеск бликов хороший способом сделать это. Проблема заключается в том что в наше время бликами часто злоупотребляют, как это было с несколько лет назад.
Valve предоставили в наше распоряжение короткий демонстрационный уровень, который демонстрирует два оставшихся эффекта, которые они разрабатывают. Первый из них — это зернистость пленки. Если вы когда-нибудь смотрели старый фильм на большом экране, вы наверняка наблюдали повреждения, которые пыль и мелкие царапины нанесли пленке. Это происходит потому, что пленка, используемая в кинопроекторах, находится не в замкнутом пространстве и подвержена воздействию всех тех мелких частиц, что летают в воздухе.
Зернистость — это небольшой, но очень важный визуальный элемент кинофильма, помогающий добавить сложность демонстрируемой сцене. А так как Valve пытаются привнести в Day of Defeat: Source именно кинематографическую атмосферу, различные степени зернистости могут использоваться для достижения определенного стиля. Игра построена вокруг Второй Мировой войны и в ролике, созданном Valve, зернистость использована в большой степени, что придает ролику вид кинохроники 60-ти летней давности, а не компьютерной игры 21-го века.
В реальности Valve использовали очень высокий уровень зернистости в ролике, что отражено на скриншоте выше. В сочетании с фонтанчиками пыли, возникающими в сцене непрерывно, этот эффект заставляет игру выглядеть старше, чем она есть на самом деле. Поначалу, все это не выглядит так уж впечатляюще, так как эффект пытается обмануть ваш глаз несколькими способами.
Вам мозг ожидает, что все вокруг будет выглядеть супер-гладко, даже не потому, что вы вероятно уже знакомы с картами Day of Defeat, но и потому, что это — современная компьютерная игра. Однако, так как действие Day of Defeat разворачивается в 1940-х, когда записывающее оборудование было не способно производить чистую и блестящую картинку. Когда зернистость применяется в правильном контексте, она выглядит невероятно хорошо. Ролик сделан так, чтобы выглядеть как выпуск новостей, и он действительно выглядит как выпуск новостей 40-х годов!
Цветокоррекция (Colour correction) — еще одна важная часть создания правильной атмосферы для игрока — скриншот выше демонстрирует, как незначительные изменения цвета помогают вам перенестись во времена, где разворачиваются события Day of Defeat. Цвета выглядят слегка полинявшими, что добавляет правдоподобности ощущению, что вы в 40-х, сражаетесь не на жизнь, а на смерть в напряженной городской перестрелке.
Сочетание этих двух эффектов создает интересное ощущение: кирпичи, стены и другие объекты уже не выглядят новыми и чистыми. Создается ощущение, что вы лично принимаете участие в «Спасении Рядового Райана» (Saving Private Ryan) или «Братьях по оружию» (Band of Brothers), а не сидите в кресле и смотрите фильм. Зернистость настолько привычна для нашего глаза, что выглядит гораздо более нормальной, нежели может показаться.
Мы намеренно оставили счетчик кадров в секунду на скриншотах, чтобы дать вам представление о том, насколько эти эффекты влияют на производительность. Мы проводили тестирование на ноутбуке Alienware, оснащенном картой GeForce Go 6800, процессором Pentium M 2.13GHz и 1GB оперативной памяти. Уровень детализации был установлен на 1440×900 2xAA 8xAF, high details, отражение в воде установлено на ’Reflect All’ и включена полная поддержка HDR. Количество кадров в секунду упало на 4 — около 10% — после включения эффекта зернистости.
Очевидно, что не любая игра выиграет от применения зернистости, это будет напрямую зависеть от самой игры. Мы же считаем, что такие игры как Day of Defeat: Source однозначно выиграют от этого эффекты — он поможет игроку как бы перенестись назад во времени, давая более глубокое ощущение погружения в происходящее.
Эффект зернистости также может значительно помочь с анти-алиасингом, так как дополнительный шум на экране создаст ощущение, что края поверхностей более гладкие. Ступенчатость — это вещь, которая очень легко замечается человеческим глазом, так что что-нибудь типа эффекта зернистости может помочь убрать неровные края, шейдеры и границы множественных отображений, создающих столько проблем в графике.
Методы, применяемые в рендерерах, используют модель камеры-пинхола (в которой входная апертура → 0, а следовательно, все объекты будут в фокусе). Симуляция апертуры конечного размера и, следовательно, глубины резкости, требует дополнительных усилий.
Точка в сцене проецируется на картинную плоскость в виде пятна рассеяния.
Общий обзор
Способы реализации глубины резкости можно разделить на две большие группы: методы пространства объектов (object space) и методы пространства изображения (image space).Методы пространства объектов работают с 3D-представлением объектов сцены и таким образом применяются во время рендера. Методы пространства изображения, также известные как методы постобработки (postprocess), оперируют с растровыми изображениями, полученными при помощи стандартной модели камеры-пинхола (полностью в фокусе). Для достижения эффекта глубины резкости эти методы размывают участки изображения, учитывая карту глубины (depth map). Вообще, методы пространства объектов способны выдать более физически точный результат и обладают меньшим числом артефактов, нежели методы пространства изображения, в то время как методы пространства изображения значительно быстрее.
Методы пространства объектов бывают основаны или на геометрической оптике, или на волновой оптике. В большинстве приложений используется геометрическая оптика, чего достаточно для достижения подавляющего большинства целей. Однако в расфокусированных изображениях не последнюю роль могут играть дифракция и интерференция; для их учёта и необходимо применять законы волновой оптики.
Методы пространства изображения можно разделить на применяемые к генерируемым изображениям и применяемые в цифровой фотографии. Традиционные техники постобработки требуют наличия карты глубины, в которой содержится информация об отдалённости точки изображения от камеры, но такую карту сложно получить для фотографий. Существует интересная техника световых полей, позволяющая выполнять размытие объектов не в фокусе без карты глубины. Недостаток технологии в том, что она требует специального оборудования, но получаемые изображения не имеют ограничения на сложность сцены.
Методы пространства объектов (object space approaches)
Распределённая трассировка лучей (distributed ray tracing)
Метод напрямую симулирует геометрическую оптику. Вместо трассировки одного луча на семпл (в оригинале - пиксель, но я счёл это неуместным, т.к. количество просчитанных лучей будет изменяться в зависимости от настроек AA и редко когда равняется одному пикселю), что симулирует камеру-пинхол, надо выбрать несколько лучей, чтобы получить аналог изображения, полученного на камеру с конечной апертурой. Лучи для каждого семпла исходят из одной точки на картинной плоскости, но направлены в разные участки линзы. После преломления линзой луч испускается в сцену.Из описания видно, что изображение формируется, учитывая физические законы оптики (исключая волновую). Поэтому изображения, полученные таким способом, довольно реалистичные и считаются «золотым стандартом», по которому можно проверять методы постобработки. Недостаток метода очевиден: для каждого семпла следует просчитать количество лучей, достаточное для получения качественного размытия, соответственно, время рендера увеличивается. Если требуется получить малую глубину резкости, потребуется увеличение времени рендера в сотни или тысячи раз. При использовании недостаточного числа дополнительных лучей в размытых областях появится шум.
Метод реализован в шейдере mia_lens_bokeh: // параметры шейдера
struct depth_of_field {
miScalar focus_plane_distance;
miScalar blur_radius;
miInteger number_of_samples;
};
miBoolean depth_of_field (miColor *result, miState *state, struct depth_of_field *params)
{
// получаем параметры
miScalar focus_plane_distance = *mi_eval_scalar(¶ms->focus_plane_distance);
miScalar blur_radius = *mi_eval_scalar(¶ms->blur_radius);
miUint number_of_samples = *mi_eval_integer(¶ms->number_of_samples);
miVector camera_origin, camera_direction, origin, direction, focus_point;
double samples, focus_plane_z;
int sample_number = 0;
miColor sum = {0,0,0,0}, single_trace;
// переводим в другую систему координат
miaux_to_camera_space(state, &camera_origin, &camera_direction);
// ищем точку пересечения
focus_plane_z = state->org.z - focus_plane_distance;
miaux_z_plane_intersect(&focus_point, &camera_origin, &camera_direction, focus_plane_z);
// считаем заданное количество семплов
while (mi_sample(samples, &sample_number, state, 2, &number_of_samples)) {
miaux_sample_point_within_radius(&origin, &camera_origin, samples, samples, blur_radius);
mi_vector_sub(&direction, &focus_point, &origin);
mi_vector_normalize(&direction);
miaux_from_camera_space(state, &origin, &direction);
mi_trace_eye(&single_trace, state, &origin, &direction);
miaux_add_color(&sum, &single_trace);
}
// нормализуем результат
miaux_divide_color(result, &sum, number_of_samples);
return miTRUE;
}
мануала mental ray , картинка оттуда же).
Реалистичные модели камеры (realistic camera models)
В предыдущем методе преломнелие в линзе рассчитывалось по одному закону. Однако же, это не всегда так. Объективы состоят из групп линз, обладающих разными свойствами:
Группы линз в объективе (картинка Pat Hanrahan).
Оптические спецификации объектива, предоставляемые производителями, корректно реализуются в виде математической модели. Модель включает в себя симуляцию групп линз и предоставляет также модель выходного отверстия (в пределах которого рендерер будет испускать лучи для одного семпла). Попадающие в выходное отверстие лучи просчитываются, учитывая оптические свойства групп линз, через которое они проходят.
Метод позволяет физически корректно симулировать как глубину резкости, так и искажения, вносимые линзой. 
Объективы с разным фокусным расстоянием: с изменением фокусного расстояния и модели линзы меняется перспектива и могут появляться искажения (например, как на верхней картинке) - картинка Pat Hanrahan.
Пример шейдера, реализующего объектив-фишай: struct fisheye {
miColor outside_color;
};
miBoolean fisheye (miColor *result, miState *state, struct fisheye *params)
{
miVector camera_direction;
miScalar center_x = state->camera->x_resolution / 2.0;
miScalar center_y = state->camera->y_resolution / 2.0;
miScalar radius = center_x < center_y ? center_x: center_y;
miScalar distance_from_center = miaux_distance(center_x, center_y, state->raster_x, state->raster_y);
if (distance_from_center < radius) {
mi_vector_to_camera(state, &camera_direction, &state->dir);
camera_direction.z *= miaux_fit(distance_from_center, 0, radius, 1, 0);
mi_vector_normalize(&camera_direction);
mi_vector_from_camera(state, &camera_direction, &camera_direction);
return mi_trace_eye(result, state, &state->org, &camera_direction);
} else {
*result = *mi_eval_color(¶ms->outside_color);
return miTRUE;
}
}
Результат применения шейдера (код взят из мануала mental ray , картинка оттуда же).
Буфер накопления (accumulation buffer)
Для достижения эффекта глубины резкости также можно использовать буфер накопления. Рендерится несколько кадров, после чего, усредняя их, мы получаем искомое изображение. Метод очень похож на распределённую трассировку лучей, но быстрее его, т.к. рендериг происходит при помощи аппаратных средств. Однако же, в первом методе мы можем адаптивно контролировать количество семплов и получить картинку приемлемого качества, используя меньше семплов. Метод применим только там, где можно отреднерить сцену аппаратно.Симуляция распространения волн (wawe propagation)
Все методы, рассмотренные выше, используют законы геометрической оптики, игнорируя дифракцию и интерференцию. Если в сцене есть несколько точечных источников, излучающих свет определённой длины волны, можно отследить распространение световых волн в пространстве. Картинная плоскость располагается на определённом расстоянии и для определения значения семпла учитывается вклад от всех волн, испускаемых источниками. Вычисления можно производить в частотном домене, используя преобразование Фурье.Разброс (splatting)
При рендере сцена представляется не как набор геометрических примитивов с текстурами, а в виде набора точек. Точки разбрасываются по определённому закону, чаще всего по Гауссовскому. Для достижения большей скорости, при разбросе точек используется операция свёртки, учитывающая функцию размытия точки (point spread function, PSF). В случае размытия по Гауссу, параметром PSF является стандартное отклонение.Полученные точки хранятся в дереве и при выборе точки из размытой области поиск производится в определённом радиусе. Это позволяет просчитывать меньшее количество семплов в расфокусированных областях изображения.
Логично предположить, что довольно жёстким ограничением метода является возможность представления сцены в требуемом виде.
Изображение, полученное методом разброса. В размытых областях плотность семплирования меньше (картинка Jaroslav Krivanek).
Аналитическая видимость (analytical visibility)
Имея трёхмерную сцену, можно аналитически определить, какие объекты находятся вне фокуса. Для таких объектов берётся меньшее число семплов, в результате они выглядят размытыми. Метод позволяет получить точные изображения без шума, в отличие от распределённой трассировки лучей.Методы пространства изображения (image-space approaches)
Идеальный метод постобработки должен обладать следующими свойствами:
Линейная фильтрация (linear filtering)
Один из первых методов получения DoF на этапе постобработки. В зависимости от глубины точки (определяется по карте глубины) меняются параметры функции размытия (PSF). Чем больше радиус PSF, тем более низкая производительность фильтра. Фильтр можно выразить формулой:
где B - размытое изображение, psf - ядро фильтра, x и y - координаты в выходном изображении, S - исходное изображение, i и j - координаты во входном изображении.
PSF может в некотором смысле учитывать оптические эффекты, такие как дифракцию и интерференцию. Недостатки метода: нехватка интенсивности, ненепрерывная глубина.
Буфер распределения лучей (ray distribution buffer)
В методе предлагается учитывать видимость объектов, тем самым мы можем избавиться от нехватки интенсивности. Вместо создания размытого изображения, сначала для каждой точки создаётся буфер распределения лучей, исходящих из неё. В такой буфер входят возможные координаты, в какие может прийти свет от точки, с глубиной. После просчёта буферов распределения лучей для всех точек вычисляется среднее значение цвета. Метод работает с видимостью объектов достаточно корректно, но требует больше памяти и вычислений, в сравнении с линейной фильтрацией. Заметим, что набор карт, полученных методом RDB, называется световым полем (light field).Послойная глубина резкости (layered DoF)
Метод предназначен для частного случая расположения объектов: объекты должны быть параллельны картинной плоскости. Объекты делятся на слои, слои размывается по отдельности в частотном домене (используя быстрое преобразование Фурье). FFT позволяет использовать PSF больших радиусов без влияния на производительность. Метод не имеет недостатка нехватки интенсивности и работает очень быстро, но область его применения сильно ограничена.Пересечение и дискретизация (occlusion and discretization)
Ограничение, накладываемое предыдущим методом, очень строгое. Изображение делится на слои, таким образом глубина семплов изображения округляется до выбранной глубины ближайшего слоя. Полученное изображение будет иметь артефакты дискретизации в форме полос или жёстких границ по линиям пересечения слоёв. В данном методе проблема таких артефактов решается при помощи использования ID объектов, полученных методом нахождения границ (или по карте ObjectId). Если один объект принадлежит двум слоям, слои объединяются. Ещё одна проблема метода - частичное пересечение. Для размытия объектов на заднем плане используется аппроксимация по видимым семплам.
На верхнем изображении видны чёрные полосы - артефакты, происходящие от применения послойного размытия без использования ObjectId (картинка Barsky).
Размытие, учитывающее особенности глаза человека (vision-realistic rendering)
Глаз человека сложно описать в виде аналитической модели, состоящей из нескольких линз - как это можно сделать для объектива. В данном методе при помощи специального прибора, называемого wavefront aberrometer (я не решился это перевести) определяется набор PSF, соответствующих глазу человека. Далее используется размытие по слоям в соответствии с полученными PSF. Метод позволяет получать изображения, видимые людьми с заболеваниями зрения.
Изображение, учитывающее особенности глаза человека, больного кератоконусом (картинка Barsky).
Упорядочение по важности (importance ordering)
Метод работает аналогично механизму antialiasing-а рендереров: сначала формируется изображение с низким разрешением, после чего семплы, рядом с которыми изменение цвета превышает порог, обрабатываются на следующей итерации и для получения пикселя итогового изображения берётся больше семплов исходного изображения, и так далее. Таким образом, метод достигает лучшего качества за меньшее время.Гибридный перцептивный метод (perceptual hybrid method)
Особенности восприятия изображения человеком таковы, что детали в центре более важны, чем детали по краям изображения. Центр изображения можно размыть более медленным и точным способом, в то время как для периферии используется быстрая аппроксимация размытия. Для быстрого размытия используется пирамида Гаусса, уровень размытия выбирается в зависимости от глубины пикселя; результат обладает артефактами.Повторяемая свёртка (repeated convolution)
Метод предназначен для быстрого применения в интерактивных приложениях. Работает на аппаратных устройствах, где можно эффективно реализовать операцию свёртки с ядром размера 3x3 пикселя. Свёртка выполняется несколько раз, тем самым достигается большая величина размытия. Производительность падает с ростом радиуса размытия. На PSF накладывается ограничение: она должна быть Гауссовской.Глубина резкости на GPU
Глубину резкости можно считать и на GPU. Один из методов преложили Scheueremann и Tatarchuk.Учитывая глубину пикселя, по законам оптики определяем величину пятна рассеяния, и в пределах пятна выбираем семплы, которые и формируют цвет пикселя в результате. В целях оптимизации памяти, в участках изображения, где CoC имеет большой радиус, берутся пиксели не входного изображения, а уменьшенного в несколько раз. Для уменьшения количества артефактов нехватки интенсивности, в расчёт берётся ещё и глубина пикселей. Метод обладает артефактам ненепрервыности глубины.
Интегральная матрица (summed area table)
В качестве альтернативы семплирования в пределах CoC, усреднённый цвет области пикселей изображения можно найти, используя интегральную матрицу (SAT). В данном случае скорость вычислений высока и не падает с увеличением радиуса размытия, к тому же нет необходимости в генерации изображения меньшего разрешения. Изначально метод предназначался для сглаживания текстур, но в дальнейшем был адаптирован и для глубины резкости, в том числе и на GPU. Метод обладает практически всеми видами артефактов.Метод пирамид (pyramidal method)
Сцена разделяется на слои, в зависимости от глубины. Пиксели, находящиеся близко к границе слоёв, относятся не к ближайшему слою, а частично к нескольким слоям: таким образом исключаются артефакты дискретизации на границах слоёв. Затем экстраполируются значения пикселей, отсутствующих в слоях (тех, которые закрыты объектами на переднем плане). После этого каждый слой размывается методом пирамид , для исключения артефактов используется вес точки. Полученные слои смешиваются с учётом прозрачности слоёв. Метод быстрее послойных методов, использующих FFT, но накладывает ограничения на используемую PSF.
Изображение было размыто с использованием метода пирамид (картинка Magnus Strengert).
Сепарабельное размытие (separable blur)
Точно так же, как и в методах классического размытия, не учитывающего глубину (box blur, gaussian blur), в расчёте глубины резкости можно применять сепарабельные PSF. Сначала изображение размывается по горизонтали, затем по вертикали - в результате мы получаем скорость, зависимую не от площади пятна не резкости, а от его диаметра. Метод поддаётся реализации на GPU и может быть применён в реальном времени. Идея применения сепарабельных функций проиллюстрирована на рисунке:
При сепарабельном размытии производительность зависит не от площади PSF, а от её диаметра.
Стоит заметить, что в другой работе Barsky подчёркивает, что правильное размытие, учитывающее глубину, не может быть сепарабельным: при использовании этого метода в некоторых случаях возможны артефакты.
Симуляция рассеяния тепла (simulated heat diffusion)
Рассеяние тепла - физический процесс, в котором тоже можно наблюдать размытие (хотя он и не связан с оптикой). Если в веществе-проводнике тепла температура распределена неравномерно, со временем мы будем наблюдать размытие. Дифференциальные уравнения, описывающие эффект такого размытия, можно использовать для симуляции глубины резкости. Даже для достаточно больших радиусов размытия метод может быть применён на GPU в реальном времени.
Карта position map, используемая вместо карты глубины в этом методе, содержит информацию о трёх измерениях точки, а не только о глубине (картинка Barsky).
Обобщённая и семантическая глубина резкости
До сих пор мы описывали методы, симулирующие глубину резкости так, как это происходит в природе. Однако размытие может быть и не таким, как мы привыкли его наблюдать. В компьютерной графике мы не ограничены физически реализуемыми моделями линз, поэтому область размытия может быть задана произвольно - например, мы можем выделить из толпы несколько человек. Метод можно реализовать как вариацию метода симуляции рассеяния тепла, используя в качестве карты размытия законы, отличные от физических.
Физически неправильное размытие (картинка Kosloff и Barsky)
Световые поля (light fields)
Световые поля изначально были описаны как метод, описывающий изображение сцены с разных точек, не зависящий от сложности сцены. Стандартный способ кодирования световых полей - двухплоскостная параметризация (two-plane parametrization). Выбираются две параллельные плоскости; каждый луч описывается точкой на обеих плоскостях. В результате получается четырёхмерная структура данных. С полученными данными можно производить манипуляции, такие как изменение плоскости фокусировки или глубины резкости.Можно сказать, что в камерах световое поле (между плоскостями линзы и матрицы) интегрируется естественным путём: мы не различаем, из какой точки линзы пришёл луч света. Однако если учитывать это, мы сможем интерактивно, имея описанную структуру данных, управлять глубиной резкости уже после снятия показаний сенсора.
Кроме того, мы можем сфокусироваться на разных участках изображения, применяя быстрое преобразование Фурье в четырёхмерном пространстве.
В изображениях, генерируемых на компьютере, легко получить данные светового поля, отрендерив сцену с разных ракурсов.
Существуют камеры (физические), способные записывать световые поля. Перед сенсором располагаются микролинзы, разделяющие свет, пришедший из разных направлений. Таким образом, в отличие от классической камеры, свет не суммируется в одной точке, а распределяется в зависимости от направления. По данным сенсора уже на этапе обработки можно выбрать объект в фокусе и размер размытия.
Световое поле: маленькая часть RAW-изображения с сенсора Lytro. Мы видим микролизны, расположенные перед матрицей.
Пятнистия (dappled) фотография
Способ, описанный выше, требует много точек матрицы для кодирования одного пикселя, следовательно, обладает низким разрешением. Действительно, разрешение этой камеры где-то 800 пикселей по большей стороне при матрице 11MPix. Проблема может быть решена использованием сенсоров с очень высоким разрешением (но это приведёт к удорожанию сенсоров и запредельно большому размеру структуры данных).Пятнистая фотография предлагает альтернативный способ получения светового поля, обходящий ограничение на размер матрицы. Вместо большого числа микролинз используется полупрозрачная маска, изменяющая свет по определённому закону. Применяя обратное преобразование Фурье, можно получить исходное световое поле.
Увеличение расфокусировки (defocus magnification)
Хорошо было бы уметь применять эффект глубины резкости и в «обычной» фотографии, без светового поля (где, в отличие от рендера, нет карты глубины). Данный метод предполагает определение размытия и его увеличение (в методе предполагается, что размытие в фотографии уже есть, но недостаточное - например, фотография сделана на мыльницу, где из-за размера матрицы невозможно достичь большого радиуса размытия). Чем больше размытие, уже присутствующее в изображении, тем ещё большее размытие будет применено дополнительно.Автофокус
При использовании глубины резкости в приложениях виртуальной реальности и видеоиграх, так же как и в фотографии, необходим автофокус, то есть задача определения глубины, пиксели на которой находятся в фокусе. В центре изображения выделяется область, семплы из этой области участвуют в определении глубины фокусировки. В расчёт берётся как средневзвешенное значение глубины, так и известная для изображаемых объектов присущая им важность (скажем, можно сфокусировать «взгляд» на одном их персонажей, но нельзя на деревянном ящике или стене) - это называется семантический вес объекта. Также необходимо учитывать процесс аккомодации взгляда (фокусировка меняется во времени плавно), для этого используется, например, low-pass фильтр.Заключение
Мы рассмотрели большинство из наиболее распространённых методов, применяемых для достижения эффекта глубины резкости в современной компьютерной графике. Некоторые из них работают с 3D-объектами, некоторые являются методами постобработки. Мы также описали основные характеристики, которым должны удовлетворять правильные методы.В настоящее время проблема эффективного достижения фотореалистичной глубины резкости до сих пор открыта. Кроме того, открыта и проблема воссоздания карты глубины по фотографии (определения расстояния до объекта).
ГРИП (глубина резко изображаемого пространства, или глубина резкости) в фотографическом деле — расстояние между ближней и дальней границами пространства, измеренное вдоль оптической оси, при нахождении в пределах которого объекты находятся в фокусе (на снимке получаются достаточно резко).
Ни для кого не секрет, что в последних версиях игры FIFA разработчики применяли эффект размытия (блюра) для отдаленных сцен. Этими сценами являлись обычно зрительские трибуны, и сами зрители. Данный эффект размытия известен фотографам как глубина резкости. Именно с помощью глубины резкости фотограф может добиться впечатляющих снимков, акцентируя внимания зрителя на нужный объект, при этом отсекая ненужные объекты размытием. К данному эффекту мы все очень привыкли, и поэтому разработчики в новой версии FIFA 10 решили более расширить применяемые эффекты глубины резкости. В предыдущих версиях игры эффект ГРИП применялся слабо из-за небольшой производительности игровой станции, не до конца продуманной логики исполнения. Поэтому эффект размытия мы могли наблюдать только у неподвижных изображений в игре. Да и эффект ГРИП не всегда отображался правильно и реалистично. Профессиональные фотографы могли заметить недоработки и неточности в исполнении глубины резкости.
Однако, разработчики в FIFA 10 применили новую логику применения эффекта ГРИП, которая добавит в игру еще больше реализма. Теперь в игре эффект ГРИП будет самостоятельно изменяться, если вы изменяете положение камеры (приближаете/отдаляете).
По мнению разработчиков, новая система ГРИП — это лишь одно из немногих усовершенствований, которые будут в игре FIFA 10.
