Sora (umělá inteligence)
Sora je generativní text-to-video model AI, vydaný společností OpenAI v únoru 2024. Sora je schopna tvořit filmy z textových pokynů pomocí kombinace AI technologií: pokročilých NLP modelů, GAN [1], VQ-VAE, sémantických a kontextových modelů, technik pro syntézu videa a animaci, a metod posíleného učení pro tvorbu videí z textových pokynů.[2][3][4]
Technologie
Přehled Sora
Sora je architektura založená na nejnovější generaci difúzních transformátorů. Začíná proces s inicializačním šumem a postupně provádí sérii úprav, aby dosáhla přesného cílového videa. Významným prvkem teto technologie je implementace adaptivního vzorkování, které umožňuje modelu Sora dynamicky se přizpůsobit a optimalizovat pro různé kodeky, rozlišení a poměry videa. To je dosaženo pomocí pokročilého algoritmického řešení, které umožňují měnit úroveň podrobnosti ve procesu výběru vzorků a efektivně rekonfigurovat vstupní data tak, aby byla maximalizována kompatibilita s požadovanými výstupními formáty videa.[5][6]
Proces Generování Videa
Proces generování videa Sora zahrnuje tři hlavní kroky:
Zpočátku Sora komprimuje zdrojové video do reprezentace latentního prostoru, což zachytává interní vlastnosti dat. Tento vysoce dimenzionální prostor je využíván k abstrakci videodat, umožňující AI efektivněji manipulovat s složitými vzory v datech a generovat detailní, vysokokvalitní video výstupy.[5]
Po kompresi se tokenizovaná latentní reprezentace videa zpracovává pomocí Vision Transformer (ViT). Tento krok zlepšuje čistotu videa odstraněním šumu z abstraktní reprezentace.[7]
Nakonec Sora využívá mechanismus CLIP[8] (Contrastive Language–Image Pre-training), který umožňuje Sora porozumět a aplikovat textové popisy poskytnuté uživateli[9]. Tyto popisy mohou být vylepšeny pomocí velkých jazykových modelů (LLMs) pro větší jasnost a specifičnost a mohou zahrnovat i vizuální podněty. To řídí difúzní model při vytváření videí, která odpovídají požadovaným tématům nebo stylům.[7][10][11]
Po opakovaném aplikování kroků odstranění šumu je abstraktní video transformováno do své konečné formy. Toto video je poté dekódováno zpět do standardního video formátu a připraveného k prohlížení.[12][5]
Použití
Aplikace Sora má potenciál pro využití v různých oblastí včetně zábavy, vzdělávání, simulačního tréninku a dalších, kde může vytvářet přizpůsobený video obsah na základě konkrétních textových pokynů[5], ale v současné době ještě není k dispozici veřejnosti, protože ji vědci zkoumají pro společenskou bezpečnost.[13][14]