miniatura|Un vídeo de recopilació generat amb el model de text a vídeo Sora 2 d' OpenAI Un model de text a vídeo és una forma d'intel·ligència artificial generativa que utilitza una descripció del llenguatge natural com a entrada per produir un vídeo rellevant per al text d'entrada. Els avenços durant la dècada del 2020 en la generació de vídeos d'alta qualitat i condicionats per text han estat impulsats en gran manera pel desenvolupament de models de difusió de vídeo.
Models Hi ha diferents models, inclosos els models de codi obert. Entrada en xinès CogVideo és el primer model de text a vídeo "de 9.400 milions de paràmetres" que es va desenvolupar, amb la seva versió de demostració de codis de codi obert presentada per primera vegada a GitHub el 2022. Aquell any, Meta Platforms va llançar un model parcial de text a vídeo anomenat "Make-A-Video", i Brain de Google (més tard Google DeepMind) va introduir Imagen Video, un model de text a vídeo amb 3D U-Net.
El febrer de 2023, Runway va llançar Gen-1 i Gen-2, entre els primers models de text a vídeo i vídeo a vídeo disponibles comercialment i accessibles al públic a través d'una interfície web. Gen-1, inicialment llançat com a model de vídeo a vídeo, permetia als usuaris transformar metratge de vídeo existent mitjançant indicacions de text o imatges. Gen-2, introduït el març de 2023 i disponible públicament el juny de 2023, va afegir capacitats de text a vídeo, permetent als usuaris generar vídeos només a partir d'indicacions de text.
El març de 2023 es va publicar un article de recerca titulat "VideoFusion: Models de difusió descomposts per a la generació de vídeo d'alta qualitat", que presentava un nou enfocament per a la generació de vídeo. El model VideoFusion descompon el procés de difusió en dos components: soroll base i soroll residual, que es comparteixen entre fotogrames per garantir la coherència temporal. Mitjançant la utilització d'un model de difusió d'imatges preentrenat com a generador base, el model va generar de manera eficient vídeos coherents i d'alta qualitat. L'afinament del model preentrenat en dades de vídeo va abordar la bretxa de domini entre les dades d'imatge i de vídeo, millorant la capacitat del model per produir seqüències de vídeo realistes i consistents. El mateix mes, Adobe va introduir Firefly AI com a part de les seves funcions.
El gener de 2024, Google va anunciar el desenvolupament d'un model de text a vídeo anomenat Lumiere que es preveu que integri capacitats avançades d'edició de vídeo. Matthias Niessner i Lourdes Agapito de l'empresa d'IA Synthesia treballen en el desenvolupament de tècniques de renderització neuronal 3D que poden sintetitzar vídeo realista mitjançant representacions neuronals 2D i 3D de forma, aparença i moviment per a la síntesi de vídeo controlable d'avatars. El juny de 2024, Luma Labs va llançar la seva eina de vídeo Dream Machine. Aquell mateix mes, Kuaishou va ampliar el seu model de text a vídeo Kling AI a usuaris internacionals. El juliol de 2024, el propietari de TikTok, ByteDance, va llançar Jimeng AI a la Xina, a través de la seva filial, Faceu Technology. El setembre de 2024, l'empresa xinesa d'IA MiniMax va estrenar el seu model de vídeo-01, unint-se a altres empreses de models d'IA establertes com Zhipu AI, Baichuan i Moonshot AI, que contribueixen a la participació de la Xina en la tecnologia d'IA. El desembre de 2024, Lightricks va llançar LTX Video com a model de codi obert.
Els enfocaments alternatius als models de text a vídeo inclouen Phenaki, Hour One i Colossyan de Google, Gen-3 Alpha de Runway, i Sora d'OpenAI, Han sorgit diversos models addicionals de text a vídeo, com ara Plug-and-Play, Text2LIVE i TuneAVideo. El desenvolupador de FLUX.1, Black Forest Labs, ha anunciat el seu model de text a vídeo SOTA. Google es preparava per llançar una eina de generació de vídeo anomenada Veo for YouTube Shorts el 2025. El maig de 2025, Google va llançar la iteració Veo 3 del model. Va destacar per les seves impressionants capacitats de generació d'àudio, que eren una limitació anterior per als models de text a vídeo. El juliol de 2025, Lightricks va llançar una actualització de LTX Video capaç de generar clips que arribaven als 60 segons, i a l'octubre de 2025 va llançar LTX-2, amb capacitats d'àudio integrades.
El febrer de 2026, ByteDance va llançar Seedance 2.0, que va destacar per la seva impressionant generació realista, control de moviment i càmera i generació de 15 segons, però el model va rebre grans crítiques de la Motion Picture Association per infracció dels drets d'autor. Després de veure un clip viral d'una baralla entre els actors Brad Pitt i Tom Cruise, Rhett Reese, coguionista de Deadpool & Wolverine i Zombieland, va anunciar a les xarxes socials que "Ho sento. Probablement s'ha acabat per a nosaltres", i va afirmar que "En molt poc temps, una persona podrà seure davant d'un ordinador i crear una pel·lícula indistingible del que Hollywood estrena ara".
Arquitectura i formació Hi ha diverses arquitectures que s'han utilitzat per crear models de text a vídeo. De manera similar als models de text a imatge, aquests models es poden entrenar mitjançant xarxes neuronals recurrents (RNN), com ara xarxes de memòria a curt termini (LSTM), que s'han utilitzat per a models de transformació de píxels i models de generació de vídeo estocàstic, que ajuden a la consistència i el realisme respectivament. Una alternativa per a aquests inclouen models de transformadors. També s'han utilitzat xarxes adversarials generatives (GAN), autocodificadors variacionals (VAE), que poden ajudar en la predicció del moviment humà, i models de difusió per desenvolupar els aspectes de generació d'imatges del model.
Els conjunts de dades de text i vídeo utilitzats per entrenar models inclouen, entre d'altres, WebVid-10M, HDVILA-100M, CCV, ActivityNet i Panda-70M. Aquests conjunts de dades contenen milions de vídeos originals d'interès, vídeos generats, vídeos amb subtítols i informació textual que ajuda a entrenar models per a la precisió. Els conjunts de dades de text i vídeo utilitzats per entrenar models inclouen, entre d'altres, PromptSource, DiffusionDB i VidProM. Aquests conjunts de dades proporcionen la gamma d'entrades de text necessàries per ensenyar als models com interpretar una varietat d'indicacions textuals.
El procés de generació de vídeo implica la sincronització de les entrades de text amb els fotogrames de vídeo, garantint l'alineació i la coherència al llarg de la seqüència. Aquest procés predictiu està subjecte a una disminució de la qualitat a mesura que augmenta la durada del vídeo a causa de les limitacions de recursos. La prova de Will Smith menjant espaguetis és un punt de referència per a models.
Limitacions Malgrat la ràpida evolució del rendiment dels models de text a vídeo, una limitació principal és que són molt pesats computacionalment, cosa que limita la seva capacitat per proporcionar resultats d'alta qualitat i llargs. A més, aquests models requereixen una gran quantitat de dades d'entrenament específiques per poder generar resultats d'alta qualitat i coherents, cosa que planteja el problema de l'accessibilitat.
A més, els models poden malinterpretar les indicacions textuals, donant lloc a sortides de vídeo que es desvien del significat previst. Això pot passar a causa de limitacions en la captura del context semàntic incrustat en el text, cosa que afecta la capacitat del model per alinear el vídeo generat amb el missatge previst per l'usuari. Diversos models, com ara Make-A-Video, Imagen Video, Phenaki, CogVideo, GODIVA i NUWA, s'estan provant i refinant actualment per millorar les seves capacitats d'alineació i el rendiment general en la generació de text a vídeo.
Un altre problema amb els resultats és que el text o els detalls fins dels vídeos generats per IA sovint apareixen confusos, un problema amb el qual també tenen problemes els models de difusió estables. Alguns exemples són les mans distorsionades i el text il·legible.
Ètica El desplegament de models de text a vídeo planteja consideracions ètiques relacionades amb la generació de contingut. Aquests models tenen el potencial de crear contingut inadequat o no autoritzat, incloent-hi material explícit, violència gràfica, informació errònia i semblances d'individus reals sense consentiment. Garantir que el contingut generat per IA compleixi amb els estàndards establerts per a un ús segur i ètic és essencial, ja que el contingut generat per aquests models no sempre es pot identificar fàcilment com a perjudicial o enganyós. La capacitat de la IA per reconèixer i filtrar contingut NSFW o amb drets d'autor continua sent un repte continu, amb implicacions tant per als creadors com per al públic.
Impactes i aplicacions Els models de text a vídeo ofereixen una àmplia gamma d'aplicacions que poden beneficiar diversos camps, des de l'educatiu i promocional fins a les indústries creatives. Aquests models poden simplificar la creació de contingut per a vídeos de formació, previsualitzacions de pel·lícules, recursos de jocs i visualitzacions, facilitant la generació de contingut.
Durant la guerra russo-ucraïnesa, es van crear vídeos falsos fets amb intel·ligència artificial com a part d'una guerra de propaganda contra Ucraïna i es van compartir a les xarxes socials. Aquests incloïen representacions de nens a les Forces Armades Ucraïneses, anuncis falsos dirigits a nens que els animaven a denunciar els crítics del govern ucraïnès o declaracions fictícies del president ucraïnès Volodímir Zelenski sobre la rendició del país, entre d'altres.
Pel·lícules Kaur vs Kore és el primer llargmetratge indi realitzat amb IA generativa que presenta un doble paper per al personatge d'IA de Sunny Leone, i s'estrenarà el 2026.
Chiranjeevi Hanuman – The Eternal és una pel·lícula índia feta completament amb IA generativa creada per Vijay Subramaniam, que s'estrenarà als cinemes el 2026. La pel·lícula va ser àmpliament criticada pels cineastes de la indústria de Bollywood per dependre completament de la IA i l'ús de la IA es va considerar una amenaça existencial per a la seva carrera.
Sèries Mahabharat: Ek Dharmayudh és una sèrie mitològica índia OTT estrenada l'octubre de 2025 i emesa en streaming a JioHotstar. És reconeguda com la primera sèrie creada completament amb intel·ligència artificial per generar imatges i animacions de personatges i consta de 100 episodis.
Referències
Categoria:Intel·ligència artificial