Egy modell, többféle érzékelés
A FLUX 3 képet, videót és hangot együtt tanul. Az elképzelés szerint a mozgás, a látvány és a hang ugyanannak a valóságnak különböző lenyomatai, ezért közös modellben jobban összhangba kerülhetnek.
Mit tud a videós rész?
A korai változat szövegből, képből vagy videós referenciából legfeljebb 20 másodperces videókat készít natív hanggal. Támogat videófolytatást, kulcsképeket, többnyelvű párbeszédet és egymás után kapcsolható jeleneteket.
És a robot?
A FLUX‑mimic változat ugyanennek az alapmodellnek a belső világismeretét használja robotmozdulatok előrejelzéséhez. A Black Forest Labs és a mimic robotics közös rendszerét az Audi gyártási környezetében is tesztelik.
Már mindenki használhatja?
Még nem. A FLUX 3 korai hozzáférésben van, a kép-, videó-, hang- és akciófunkciókat fokozatosan tervezik bevezetni. A közzétett összehasonlítások előzetesek és a gyártó mérései, tehát a konfettiágyút egyelőre hagyjuk biztosítva.
Miért lehet ez érdekes a videókészítőknek?
Ha a kép, a mozgás és a hang ugyanabban a rendszerben készül, kevesebb különálló lépésből állhat egy jelenet létrehozása. Elméletben könnyebb lehet összehangolni a szereplő mozdulatát a környezet hangjával, továbbvinni egy karaktert több beállításon át, vagy egy kulcsképből hangos jelenetet építeni. Ez különösen az olyan alkotóknak lehet hasznos, akik ma több külön alkalmazás között mozgatják ugyanazt az anyagot.
A korai hozzáférés azonban azt is jelenti, hogy a bemutatók nem egyenlők a mindennapi megbízhatósággal. A karakter folytonossága, a pontos beszéd, a hosszabb jelenetek és az apró vizuális részletek még sok tesztet igényelnek. A látványos demó után ezért mindig azt érdemes megkérdezni: ugyanilyen jól sikerül-e a tizedik generálás is?
Mit figyelünk majd a nyilvános változatban?
A valós használat szempontjából az ár, a felbontás, a generálási idő, a kereskedelmi jogok és a referenciaképekhez való hűség legalább olyan fontos lesz, mint a legszebb bemutatóvideó. Az is döntő kérdés, mennyire lehet egy hibás jelenetrészletet javítani anélkül, hogy az egész klipet újra kellene készíteni.
Állásinterjú a FLUX 3-mal
– Milyen pozícióra jelentkezett? – Képgenerátor, filmrendező, operatőr, hangmérnök és robotikai gyakornok. – Ez öt külön állás! – Tudom, ezért hoztam öt önéletrajzot, mindet én generáltam.
A próbanapon elkészít egy húsz másodperces filmet, megírja hozzá a hangot, beállítja a fényeket, majd megtanít egy robotot kávét főzni. A robot elsőre a bögrét teszi a gép mellé, de legalább filmszerűen, natív hangeffekttel és tökéletes kameramozgással hibázik.