Сбер представил Kandinsky 3.0 и Kandinsky Video для генерации видеороликов
Сбер создал новую версию генеративной модели для творчества — Kandinsky 3.0. Усовершенствованная нейросеть была представлена на конференции Сбера по искусственному интеллекту и машинному обучению AI Journey, которая проходит с 22 по 24 ноября.
Новая версия в сравнении с предыдущими лучше понимает текстовый запрос пользователя. Нейросеть теперь умеет создавать еще более фотореалистичные изображения, генерировать полноценные художественные картины и арты со скетчами. Кроме того, у новой модели усовершенствована функция редактирования изображений и возможность их дорисовки в режиме бесконечного полотна (inpainting и outpainting).
Пользователи обновленной нейросети Kandinsky 3.0 могут создавать видеоролики по текстовому описанию в режиме анимации. По одному запросу генерируется видео длиной в четыре секунды c выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640×640 пикселей.
Также в ходе конференции AI Journey, первый заместитель председателя правления Сбербанка Александр Ведяхин рассказал о запуске Kandinsky Video — первой в России генеративной модели для создания полноценных видеороликов по текстовому описанию.
Архитектура Kandinsky Video состоит из двух ключевых блоков: первый отвечает за создание ключевых кадров, из которых складывается структура сюжета видео, а второй — за генерацию интерполяционных кадров, которые позволяют достичь плавности движений в финальном видео. В основе двух блоков лежит новая модель синтеза изображений по текстовым описаниям Kandinsky 3.0.
Формат сгенерированного видео представляет собой непрерывную сцену с движением как объекта, так и фона. Именно это отличает видеоролики, синтезированные моделью Kandinsky Video, от анимационных видеороликов, в которых динамика достигается за счет моделирования пролета камеры относительно статичной сцены. Нейросеть создает видеоролики с разрешением 512×512 пикселей и различным соотношением сторон. Модель обучена на датасете из более чем 300 тыс. пар «текст — видео». Генерация видео занимает до трех минут.
Оценить возможности нейросети Kandinsky Video можно на платформе fusionbrain.ai и в Telegram-боте, где можно оставить заявку на доступ.
