VideoDiT: AI, które potrafi stworzyć cały film z tekstu. Test-Time Training zmienia zasady gry

Autor: Redakcja KinoAI.pl

Czy sztuczna inteligencja może stworzyć spójny, minutowy film na podstawie jedynie tekstowego opisu?
Tak – i robi to z zaskakującą skutecznością. Najnowszy projekt badawczy **VideoDiT** pokazuje, że dzięki połączeniu transformatorów dyfuzyjnych i **Test-Time Training (TTT)** wchodzimy w nową erę generowania dłuższych narracji filmowych z pomocą AI.

Problem: Dlaczego do tej pory AI nie potrafiło robić długich filmów?

Większość modeli AI świetnie radzi sobie z pojedynczymi ujęciami lub bardzo krótkimi animacjami. Ale przy próbie stworzenia dłuższego filmu – z wieloma scenami, aktorami, ruchem i fabułą – zaczyna się problem.

👉 Tradycyjne modele, oparte na tzw. self-attention, mają trudność w odwzorowaniu **długoterminowych zależności czasowych**.
👉 Nawet nowe architektury, jak **Mamba** czy **Gated DeltaNet**, tracą spójność przy bardziej złożonych narracjach.

Efekt? Filmy wyglądają jak seria losowych gifów – bez ciągłości, bez sensu, bez emocji.

Rozwiązanie: Test-Time Training jako silnik fabularny

Zespół badaczy zaproponował unikalne podejście: zastosowanie warstw **TTT (Test-Time Training)**, w których stany ukryte… są mini sieciami neuronowymi.

🎥 Co to daje?
– TTT pozwala modelowi lepiej „uczyć się w locie”
– Rozumie kontekst między scenami
– Utrzymuje styl, ruch i dynamikę postaci przez całą długość filmu

„Our model can generate minute-long videos from a text prompt with coherent narratives, consistent characters, and diverse motion.”
– Zespół VideoDiT, [test-time-training.github.io](https://test-time-training.github.io/video-dit)

Case Study: Tom & Jerry w wersji AI

Badacze przetestowali model m.in. na scenach inspirowanych kreskówką **Tom & Jerry**. Dzięki TTT udało się zachować:
– spójne relacje między postaciami,
– logiczną kolejność scen,
– ciągłość ruchu.

To ogromny przeskok w porównaniu do wcześniejszych metod.
W testach porównawczych model TTT uzyskał aż **+34 punkty Elo** przewagi nad konkurencją.

Porównanie z innymi podejściami

Ograniczenia i co dalej?

🎯 Choć wyniki są imponujące, model ma jeszcze ograniczenia:
– Niektóre artefakty wizualne nadal się pojawiają
– Wersja testowa działała na modelu 5B (5 miliardów parametrów)
– Wydajność wymaga dalszej optymalizacji

Ale… To dopiero początek.
Badacze już teraz pracują nad rozszerzeniem projektu na dłuższe narracje i bardziej realistyczne sceny.

Co to oznacza dla twórców filmowych?

🔮 **Pełnometrażowe filmy AI wygenerowane z tekstu mogą być bliżej niż sądzimy.**
Już dziś modele takie jak VideoDiT mogą zmienić sposób, w jaki tworzymy:
– animacje,
– scenariusze proof-of-concept,
– wideo marketingowe,
– gry narracyjne.

A w przyszłości?
Możliwe, że jeden twórca z laptopem będzie w stanie stworzyć coś, co dziś wymaga ekipy 40 osób i budżetu 500 tys. złotych.