Google zaprezentowało VideoPoet, nowy eksperymentalny duży model językowy (LLM), który wykorzystuje sztuczną inteligencję do tworzenia filmów przy użyciu tekstu, obrazów, a nawet edycji. W zależności od kontekstu wprowadzania danych przez użytkownika, może on również zapewnić dźwięk dla wideo. Według naukowców Google, VideoPoet jest pierwszym w swoim rodzaju produktem, który może tworzyć spójne ruchy, chociaż produkcja wideo oparta na sztucznej inteligencji nadal wiąże się z pewnymi wyzwaniami.
- VideoPoet wykorzystuje wizualne tokeny, dostosowane do środowiska wideo, co umożliwia generowanie filmów o wyższej szczegółowości.
- Oferta VideoPoet obejmuje dodawanie artefaktów, konwersję obrazów w animowane filmy, edycję wideo opartą na sztucznej inteligencji oraz stylizację i dodawanie efektów.
- VideoPoet może tworzyć dłuższe filmy z pełnymi detalami, co wskazuje na potencjał zastosowań w sektorze rozrywki i rozwój technologiczny.
Podczas gdy generatory treści AI, takie jak Midjourney i DALL-E 3, zademonstrowały swój potencjał, usługi te nie są w stanie zapewnić odpowiedniego ruchu dla filmów w porównaniu z poziomem szczegółowości, jaki są w stanie zagwarantować dla obrazów. W tym miejscu przydaje się animowana zawartość stworzona przez Google VideoPoet, która została starannie przeszkolona na wielu dużych modelach językowych (LLM).
Opcje oferowane przez VideoPoet wykraczają poza proste tworzenie wideo. Poniżej znajduje się lista wszystkich funkcji, które może wykonać nowy bot Google AI:
Tekst na wideo: używanie tekstu do tworzenia filmów
Obraz na wideo: konwertowanie zdjęć na animowane filmy wideo
Edycja wideo: używanie sztucznej inteligencji do dodawania artefaktów do filmów, takich jak poruszające się obiekty
Stylizacja: proces nadawania filmom dodatkowych efektów, takich jak gradacja kolorów, stylizacja clipartów i inne
Malowanie: dodawanie szczegółów do filmu np. tła lub wypełnianie pustych przestrzeni, lub ich zamaskowywanie
Metoda, za pomocą której VideoPoet radzi sobie z wypełnianiem pustych miejsc, odróżnia go od innych generatorów treści AI. Podczas gdy VideoPoet wykorzystuje wizualne tokeny, które są uczone, aby dostosować się do środowiska wideo, Midjourney wykorzystuje metodę opartą na dyfuzji do tworzenia tła z losowego szumu.
Następnie VideoPoet przetwarza pasujące tokeny audio za pomocą kodera strumienia dźwięku. Umożliwia to generowanie dźwięku zgodnego z głównym tematem i koncepcją filmu.
Jak VideoPoet tworzy ,,realistyczne” filmy wideo
Podobnie jak ChatGPT i Google Bard wybierają odpowiedzi na podstawie kombinacji słów, VideoPoet może tworzyć piksele w filmach, wykrywając podmiot i przedmiot w filmie. Umożliwia to VideoPoet tworzenie filmów, które są bardziej realistyczne niż te mniej szczegółowe lub zamglone z innych witryn.
VideoPoet ma niezliczone zastosowania. Dzięki możliwości dodawania dodatkowych przedmiotów do poruszających się obiektów i wypełniania pustych obszarów, VideoPoet może zrewolucjonizować sektor rozrywki, w którym obrazy generowane komputerowo są nadal trudnym procesem.
Według Google, VideoPoet może również tworzyć dłuższe filmy. Obecnie może tworzyć 8-10 sekundowe animacje z pełnymi szczegółami.
Strona internetowa firmy zawiera kilka krótkich klipów, które demonstrują przykłady konwertowania tekstu na wideo. Wszystkie próbki są dostępne do obejrzenia na blogu Google Research.
Ponieważ jednak jest to tylko zapowiedź, VideoPoet nie jest obecnie dostępny. Nawet jeśli obecny wybór klipów Google może nie być najbardziej przyjemny wizualnie, technologia leżąca u podstaw VideoPoet jest fascynująca. Widzieliśmy już, jak daleko Midjourney zaszedło w ciągu ostatnich dwóch lat – od tworzenia pikselowych zdjęć, aż do wspaniałych portretów. Dlatego też, gdy VideoPoet zostanie udostępniony szerokiej publiczności, możemy spodziewać się, że będzie miał bardziej rozbudowane możliwości.
