Исследовательское подразделение Intel Labs придумало, как сделать графику в играх по-настоящему фотореалистичной. Для этого была создана нейросеть, которая обучалась на записях с автомобильных видеорегистраторов.
Технологию продемонстрировали на примере GTA V. Благодаря корректировке освещения и добавлению новых эффектов картинка получилась менее искусственной. При этом исследователям удалось избежать появления артефактов, присущих другим нейросетям.
Если обычно искусственному интеллекту «скармливают» полноценное изображение, то Intel решила уменьшить поле зрения и обучать сеть на небольших фрагментах, где находятся примерно одни и те же объекты — части асфальта, неба, автомобилей, столбов, деревьев, велосипедистов и прохожих. Это позволило избежать появления ненужных деталей в кадре, например, на машинах нет логотипов реальных брендов.
Однако у технологии есть «побочные эффекты», зависящие от загруженного массива данных. Из-за использования базы Cityscapes, где собраны записи с видеорегистраторов из Германии, картинка получилась зеленоватой, а дороги стали слишком гладкими.
Если же обучать нейросеть на записях с камер по всему миру, то изображение становится ярче, а разрешение — выше.
Подробное описание технологии сотрудники Intel опубликовали для всех желающих на GitHub, а также объяснили принципы ее работы в видеоролике:
Источник: DTF
