Нейросети перенесли стиль Ван Гога и Мунка на мультфильмы

Немецкие ученые из Фрайбургского университета использовали нейросети для переноса художественного стиля Винсента Ван Гога, Эдварда Мунка и других художников на мультфильмы.

В основу метода легли недавние наработки по переносу стиля художников на статичные иллюстрации. Они показали, что стиль не зависит от содержания картины, и его можно применить к любому изображению. Поверхностные слои сверточной нейронной сети распознают наиболее общие признаки, такие как цветовая палитра, а с увеличением их глубины возрастает детализация.

Авторы исследования применили известную нейронную сеть VGG. Они переносили стиль художников с той или иной картины на каждый кадр видео. Разработанный алгоритм анализировал разницу между последующими кадрами с временными ограничениями, которые отбраковывают чрезмерные отличия.

Чтобы переход от кадра к кадру был плавным, ограничения учитывали оптический поток оригинального видео и отбраковывали отличия не по кадрам, а по траекториям отдельных точек. Участки кадров, которые до этого были заслонены движущимися объектами, в отбраковку не включались.

Обработка каждого кадра проводилась параллельно графическим и основным процессорами с разрешением 1024×463 пикселя. Первоначально это занимало около восьми минут на кадр, но в процессе оптимизации среднее время снизилось до трех минут на кадр.