NVIDIA Broadcast научили имитировать взгляд пользователя в камеру, когда он смотрит в другую сторону — используется ИИ и дипфейк

Стриминговое ПО NVIDIA Broadcast получило интересную функцию. Приложение может имитировать взгляд пользователя в объектив камеры даже в случае, если смотрит совсем в другую сторону. Использующая алгоритмы ИИ функция Eye Contact заменяет изображение глаз их имитацией со «взглядом», направленным точно в камеру. Правда, работает она далеко не всегда корректно.

Источник изображения: NVIDIA

По словам разработчиков, функция Eye Contact упрощает запись видео и освобождает пользователя от необходимости смотреть точно в объектив камеры. Таким образом можно общаться с удалёнными собеседниками, читая постороннюю информацию или одновременно набирая текст на клавиатуре. В NVIDIA утверждают, что «имитированные» глаза будут точно того же цвета, что и настоящие, кроме того, поддерживается отключение функции, если пользователь отвёл взгляд слишком далеко.

На демонстрационном видео можно оценить качество работы функции: слева размещено видео с камеры без редактированного контента, справа — оно же с расположенной рядом камеры после обработки NVIDIA Broadcast. Нетрудно заметить, что Eye Contact пока является не вполне идеальным решением — временами глаза движутся хаотично, а радужная оболочка то расширяется, то сужается. При желании можно увидеть и другие недостатки. Впрочем, для собеседника, внимательно не всматривающегося в экран, разница будет не столь заметной.