Интернет-магазин DONTA

Представлен мультимодальный инструмент для создания видео с использованием искусственного интеллекта Google Lumiere; Можно создавать 5-секундные видеоролики из текста и изображений

Google Lumiere поддерживает модели преобразования текста в видео и изображения в видео, а также возможность создания стилизованных видеороликов.

Представлен мультимодальный инструмент для создания искусственного видео Google Lumiere; может создавать 5-секундные видеоролики из текста и изображений

Google Lumiere в настоящее время недоступен для общего доступа

Реклама

На прошлой неделе Google представила свою новейшую модель искусственного интеллекта (ИИ) Lumiere. Новая модель искусственного интеллекта представляет собой мультимодальный инструмент для создания видео, который может генерировать видеоролики продолжительностью 5 секунд. Он поддерживает преобразование текста в видео и изображения в видео и объединяет существующие модели искусственного интеллекта, такие как Runway Gen-2 и Pika 1.0. По данным Google, Люмьер использует архитектуру Space-Time U-Net (STUNet), которая меняет процесс возникновения движения в видео AI, делая его реалистичным. Платформа пока закрыта для публики.

В сопроводительном препринте исследовательская группа Люмьера объяснила, что основная инновация в движении связана с созданием видео в едином процессе, а не с объединением неподвижных кадров. Благодаря этому одновременно создаются как пространственный (объекты в видео), так и временной (как объекты движутся в видео) аспекты генерации видео. Для непрофессионала это приводит к восприятию движений так, как они происходят в природе. Для этого Lumiere генерирует большее количество — 80 кадров вместо 25 кадров Stable Diffusion.

«Благодаря использованию как пространственной, так и (что немаловажно) временной понижающей и повышающей дискретизации, а также использования предварительно обученной модели диффузии текста в изображение, наша модель учится напрямую генерировать видео с полной частотой кадров и низким разрешением путем его обработки. в нескольких масштабах пространства-времени», — добавлено в документе.

Хотя Google Lumiere в настоящее время невозможно протестировать, веб-сайт работает, и энтузиасты могут просматривать различные видеоролики, созданные с использованием модели искусственного интеллекта, а также текстовую подсказку. и входные изображения, используемые для создания выходных данных. Он также может создавать видео в различных стилях, синемаграфию, которая позволяет пользователям анимировать определенную часть видео, и рисовать, когда используется замаскированное видео или изображение, и ИИ завершает его на основе подсказки.

Новейший инструмент для создания видео с использованием искусственного интеллекта от Google конкурирует с существующими моделями искусственного интеллекта, такими как Runway Gen-2, запущенная в марте 2023 года, и Pika 1.0 от Pika Lab, обе из которых доступны для общественности. В то время как Pika может создавать видеоролики продолжительностью 3 секунды (которые можно увеличить еще на 4 секунды), Runway может создавать видеоролики продолжительностью до 4 секунд. Обе модели являются мультимодальными и также позволяют редактировать видео.

  • Январский выпуск функций Google добавляет эти три функции в Pixel 8 Pro
  • Серия Realme 12 Pro 5G с быстрой зарядкой 67 Вт Дебют в Индии: подробности

Является ли Samsung Galaxy Z Flip 5 лучшим складным телефоном, который вы можете купить в Индии прямо сейчас? Мы обсуждаем новый складной телефон компании в форме раскладушки в последнем выпуске подкаста Orbital, подкаста Gadgets 360. Orbital доступен на Spotify, Gaana, JioSaavn, Google Podcasts, Apple Podcasts, Amazon Music и везде, где вы получаете свои подкасты.
Партнерские ссылки могут создаваться автоматически — подробности см. в нашем этическом заявлении.