Компания Google выпустила алгоритм Autoflip с открытым исходным кодом, который позволяет кадрировать видео под популярный в социальных сетях формат «сториз». Пользователю достаточно задать желаемое соотношение сторон, а инструмент автоматически определит наиболее важные объекты и обрежет ролик так, чтобы они оставались в кадре. Исходный код и инструкции по запуску программы опубликованы на GitHub.
Как отметили представители компании, фильмы и видеоролики по умолчанию всегда снимаются в «телевизионных» форматах 16:9, когда ширина кадра больше, чем высота. Из-за массового распространения смартфонов и популярности вертикальных «сториз» в социальных сетях создателям контента приходится вручную обрезать ролики, чтобы в центре внимания оставались важные детали. На это уходит много времени, которое можно было бы с пользой потратить на другую работу — именно поэтому Google решила автоматизировать процесс.
В начале работы пользователь «скармливает» программе исходное видео и выбирает соотношение сторон для итогового ролика. Также можно указать, необходимо ли сохранять объекты в кадре и выбрать их. Далее алгоритм поискового гиганта при помощи технологии машинного обучения приступает к работе и самостоятельно отслеживает, чтобы выбранные детали оставались в центре.
Поскольку в разных кадрах объекты могут быть расположены разным образом, а некоторых из них вообще не быть, каждая сцена обрабатывается отдельно. Если пользователь хочет, чтобы в готовом ролике сохранились абсолютно все объекты, алгоритм может расширить зону кадрирования и добавить черные полосы по бокам.
Google не планирует останавливаться на достигнутом — в качестве возможных будущих функций разработчики называют возможность дорисовывания деталей с использованием нейросетей, а также удаление наложенных на видеоряд текстов или рисунков. Все эти функции уже реализованы в виде отдельных алгоритмов, нужно лишь объединить их и добавить в программу.
