Niedawno opracowane generatory zamiany tekstu na wideo umożliwiły użytkownikom generowanie krótkich klipów wideo zawierających tylko kilka słów. W ramach tego nowego przedsięwzięcia zespół Google wyniósł tę ostatnią kategorię na nowy poziom, ogłaszając generator zamiany tekstu na wideo o nazwie Lumiere.
Lumiere, nazwana na cześć słynnych twórców kina, czyli braci Lumiere, którzy byli pionierami wczesnego sprzętu fotograficznego, pozwala użytkownikom wpisać proste zdanie, np. „dwa szopy czytające razem książki” i otrzymać w pełni gotowy film przedstawiający, jak dwa szopy robią właśnie to — i robi to w oszałamiająco wysoka rozdzielczość. Nowy generator stanowi kolejny krok w rozwoju generatorów zamiany tekstu na wideo, tworząc znacznie lepiej wyglądające wyniki.
Google opisuje technologię stojącą za nowym generatorem jako „przełomową architekturę U-Net czasoprzestrzenną”. Został zaprojektowany do generowania animowanego wideo w jednym przebiegu modelu.
Film demonstracyjny pokazuje, że Google dodał dodatkowe funkcje, takie jak umożliwienie użytkownikom edytowania istniejącego filmu poprzez zaznaczenie jego części i wpisanie instrukcji, takich jak „zmień kolor sukienki na czerwony”. Generator daje też również różne typy wyników, takie jak stylizacje, w których tworzony jest styl obiektu.
Google nie określiło, czy planuje udostępnić lub rozpowszechnić Lumiere, prawdopodobnie ze względu na oczywiste konsekwencje prawne, które mogą wyniknąć z potencjalnego tworzenia filmów naruszających prawa autorskie.
Zdjęcie zajawka: lumiere-video.github.io
Zostaw komentarz
You must be logged in to post a comment.