Google Genie — generativní AI model, který vytváří plně interaktivní světy z obrázků | AI v podnikání #123

Co je Google Genie?

Google Genie (https://sites.google.com/view/genie-2024/) je základní světový model vyvinutý společností DeepMind. Je to generativní AI model trénovaný na více než 30 000 hodinách veřejně dostupného videa z 2D plošinovek. Jeho klíčovou vlastností je schopnost generovat plně interaktivní, hratelná prostředí přímo z jednotlivých obrázků, fotografií a dokonce i ručně kreslených skic.

Zdroj: Genie: Generative Interactive Environments (https://arxiv.org/abs/2402.15391)

Jak je to možné? Genie používá techniku nesupervizovaného učení v procesu získávání schopnosti přesně ovládat prostředí pouze na základě videozáznamu. Není potřeba žádné označování lidských akcí. Pomocí speciálního modulu pro kódování akcí zachycuje jemné změny mezi po sobě jdoucími video snímky a mapuje je na interní reprezentace pohybu, jako je skákání nebo otáčení doleva. Model dynamiky poté generuje další snímek v sekvenci na základě kódovaných akcí.

Výsledkem je, že Genie může vytvářet plně ovladatelná, interaktivní herní prostředí z jakýchkoli vizuálních dat. Každý pohyb hráče generuje nový, jedinečný snímek v reálném čase, což vytváří plynulou, hratelnou relaci. To je opravdu velká inovace, která nám umožňuje vytvářet celé interaktivní světy z obrázků nebo textu.

Proč je Genie inovativní?

Inovace Genie spočívá v kombinaci několika klíčových prvků v jednom modelu:

• generativní video modely, jako je Phenaki (https://phenaki.video/), TECO (https://wilson1yan.github.io/teco/) nebo maskvit (https://arxiv.org/abs/2206.11894), které mohou předpovídat budoucí snímky sekvence na základě vstupních snímků a textu, ale nenabízejí aktivní ovládací schopnosti,
• světové modely, které se zaměřují na předpovídání budoucích stavů prostředí na základě akcí agenta, ale vyžadují data poskytovaná lidmi,
• nesupervizované učení, které umožňuje Genii učit se jak dynamiku prostředí, tak prostor akcí pouze z neupravených video dat, bez lidských štítků akcí.

I když byla každá z těchto oblastí již dříve prozkoumána, Genie je první model, který je kombinuje, aby se naučil ovladatelná prostředí přímo z videozáznamu. Tento bezprecedentní přístup k učení modelů bez lidského dohledu je klíčovou inovací Genie. Otevírá to dveře k využití obrovského množství videa dostupného na internetu jako zdroje tréninku pro AI modely a bourá bariéry spojené s omezenou dostupností označených dat.

Kombinace generativních video modelů, světových modelů a nesupervizovaného učení v jednom řešení představuje zásadní pokrok ve vývoji umělé inteligence. Genie ukazuje, že pokročilé AI systémy mohou učit složité chování a prostředí přímo z neorganizovaných dat, bez ručního označování. To je klíčový krok na cestě k dosažení skutečné umělé obecné inteligence (AGI).

Zdroj: Google Genie (https://sites.google.com/view/genie-2024/)

Potenciální aplikace Google Genie

Schopnosti Google Genie daleko přesahují generování videoher. Tento průkopnický AI model může najít uplatnění v mnoha oblastech:

• nástroj pro animátory – stačí nahrát obrázek, skicu nebo krátký textový popis a Genie vygeneruje konzistentní animaci,
• neomezený tréninkový zdroj pro AI agenty – se svou schopností generalizovat na zcela nové domény nabízí Genie nekonečný bazén výzev, na kterých se mohou budoucí AI systémy učit. Nedostatek různorodých tréninkových prostředí byl dosud jednou z klíčových překážek ve vývoji generických AI agentů,
• fyzikální simulace pro robotiku – výzkum ukázal, že Genie je schopen nejen ovládat virtuální roboty, ale také realizovat fyzikální vlastnosti deformovatelných objektů. To by mohlo mít obrovské důsledky pro vývoj robotiky a fyzikálních simulací,
• aplikace v kreativních odvětvích – Genie může usnadnit vytváření interaktivních uměleckých instalací, virtuálních výstav nebo filmů. Stačí nahrát skicu a model vygeneruje plně ovladatelný 3D svět, připravený k prozkoumání.

Nicméně, potenciální výzvy a omezení této technologie by neměla být přehlížena. V současné fázi vývoje funguje Genie nejlépe v úzkých doménách, jako jsou 2D plošinovky. Zvýšení složitosti na komplexnější 3D prostředí bude vyžadovat další výzkum a optimalizaci. Kromě toho existuje riziko, že by tato technologie mohla být zneužita k vytváření škodlivého nebo nebezpečného obsahu. Je proto zásadní vyvinout robustní etický a právní rámec pro řízení vývoje a použití takových AI modelů.

Zdroj: Google Genie (https://sites.google.com/view/genie-2024/)

Shrnutí

Umožněním vytváření plně interaktivních prostředí přímo z vizuálních dat, bez nutnosti ručně označovat akce, představuje Google Genie skutečný průlom v generativní umělé inteligenci. Tento základní světový model dává moc vyjadřovat obraznost ve formě hratelných virtuálních realit, které mohou být prozkoumávány a ovládány člověkem nebo AI agentem.

Potenciál Genie je obrovský – od nástrojů pro vývojáře her, po neomezený zdroj tréninkových dat pro AI, po fyzikální simulace pro robotiku. Je to také důležitý krok na cestě k AGI. Jak se modely jako Genie nadále vyvíjejí, hranice mezi skutečným a virtuálním světem se stává stále plynulejší.

Pokud se vám náš obsah líbí, připojte se k naší komunitě pracovních včel na Facebooku, Twitteru, LinkedInu, Instagramu, YouTube, Pinterestu, TikToku.