Siamo in una fase, nella storia della grafica 3D, in cui una tecnologia smette di essere soltanto un miglioramento incrementale e inizia a cambiare il modo in cui viene costruita un'immagine. È questa la sensazione che abbiamo avuto durante la presentazione del DLSS 5 alla Gamescom di quest'anno.
A guidarci attraverso la tecnologia sono stati Edward Liu, Director of Applied Deep Learning Research, e Gabriele Leone, Director of Real-Time Content Technology Team, quest'ultimo che ha contribuito in particolare ad approfondire la componente artistica e il rapporto tra Neural Rendering e controllo creativo.
Nel corso dell'evento, gli esperti di NVIDIA ci hanno mostrato nel dettaglio tutti gli aspetti della tecnologia, spiegandoci la differenza tra un normale filtro AI e l'ultima iterazione del Deep Learning Super Sampling.
Soprattutto, abbiamo avuto l'opportunità di verificare direttamente il risultato con una prova di NBA 2K27, testando il gioco insieme agli sviluppatori di Visual Concepts. Il primo impatto con DLSS 5, non lo nascondiamo, è stato impressionante.
In virtù dei tanti leak emersi nel weekend, NVIDIA ci ha dato la possibilità di anticipare le nostre riflessioni: estrapolare un file di anteprima e forzarlo arbitrariamente su titoli a caso va infatti a minare le finalità del rendering neurale, senza quel controllo da parte degli sviluppatori che la community ha richiesto a gran voce.
Perché il DLSS 5 non vuole semplicemente migliorare un'immagine. Vuole diventare uno strumento del processo artistico attraverso cui quell'immagine prende forma.
Dal DLSS al Neural Rendering
Quando NVIDIA introdusse il DLSS nel 2018, il concetto era relativamente semplice: utilizzare il machine learning per ricostruire un'immagine ad alta risoluzione partendo da un rendering a risoluzione inferiore, aumentando le prestazioni senza sacrificare eccessivamente la qualità visiva. Da allora il DLSS è diventato qualcosa di molto più ampio.
Super Resolution, Ray Reconstruction, Frame Generation e Multi Frame Generation hanno portato l'intelligenza artificiale sempre più vicina al cuore della pipeline grafica. Il passaggio ai modelli Transformer ha ulteriormente aumentato la capacità dei sistemi NVIDIA di comprendere le informazioni presenti nei fotogrammi e di ricostruire immagini più stabili e dettagliate.
DLSS 5 rappresenta però un ulteriore cambio di paradigma. NVIDIA lo presenta come un modello di real-time neural rendering capace di intervenire sull'aspetto dell'immagine attraverso illuminazione e materiali fotorealistici. Il modello utilizza informazioni provenienti dal motore di gioco, tra cui colore e motion vector, per produrre il risultato finale mantenendo fedelmente il legame con la scena tridimensionale originale.
La differenza rispetto a un semplice upscaler è sostanziale: il modello non deve limitarsi a capire quali pixel mancano, deve interpretare quello che sta osservando e utilizzare quella conoscenza per determinare come alcuni elementi della scena dovrebbero apparire. Ed è proprio qui che entra in gioco il concetto di Neural Rendering.
Ricostruzione, approssimazione, generazione
Per comprendere davvero il DLSS 5 bisogna distinguere i tre concetti fondamentali che ne sono alla base.
Il primo è la "reconstruction". È il principio alla base di gran parte del DLSS che conosciamo: il motore produce un'immagine a una risoluzione inferiore o incompleta e il modello neurale ricostruisce le informazioni mancanti.
Il secondo è la "function approximation", ovvero l'utilizzo dell'intelligenza artificiale per approssimare funzioni grafiche che sarebbero costose da calcolare con metodi tradizionali.
Il terzo è quello su cui NVIDIA punta con DLSS 5: la "generation".
Non significa che l'intelligenza artificiale generi il videogioco dal nulla. Questa distinzione è fondamentale. Il motore continua a costruire la scena, gestendo geometria, animazioni, materiali, telecamera e simulazione. Il modello neurale utilizza però le informazioni prodotte da quel rendering per generare l'aspetto finale di determinati elementi. Il gioco stabilisce quindi che cosa deve essere rappresentato, mentre il Neural Rendering contribuisce a realizzare come deve apparire.
Simulare un mondo e determinarne l’aspetto
La presentazione di Liu ha permesso di capire meglio proprio questo passaggio. Il rendering tradizionale rimane alla base del processo. Non viene sostituito.
La scena 3D deve continuare a esistere, perché il modello neurale ha bisogno di informazioni precise su quello che sta osservando. Posizione degli oggetti, movimento, materiali e informazioni sull'immagine vengono utilizzati per guidare la generazione.
La differenza è che non tutto ciò che vediamo deve necessariamente essere calcolato esplicitamente attraverso la simulazione grafica tradizionale.
Alcuni aspetti dell'immagine possono essere appresi da un modello. Pensiamo alla pelle di un personaggio. Il motore deve comunque sapere dove si trova il volto, quale forma ha e come si muove. Il Neural Rendering può però contribuire a determinare come la luce interagisce con quella superficie e quale aspetto dovrebbe avere il risultato finale.
Lo stesso principio può essere applicato a capelli, tessuti e altri materiali complessi. Non vengono quindi aggiunti magicamente poligoni alla scena. Viene modificata la qualità della sua rappresentazione, rappresentando in maniera più coerente e realistica il comportamento visivo degli elementi della scena.
Un problema di coerenza
Proprio la coerenza assume un ruolo chiave. Generare una singola immagine convincente non è necessariamente un problema complesso. Generarne migliaia consecutive mantenendo la stessa coerenza lo è molto di più.
In un videogioco, infatti, un'immagine non esiste mai da sola. Ogni frame deve essere coerente con quello precedente e con quello successivo. Un capello non può cambiare casualmente forma, una superficie non può modificare un riflesso senza una ragione e il volto di un giocatore non può assumere caratteristiche differenti semplicemente perché la telecamera si è spostata.
Qui entra in gioco una distinzione importante tra DLSS 5 e ciò che siamo abituati a considerare come intelligenza artificiale generativa. Come ci ha spiegato Gabriele Leone attraverso un esempio pratico, se chiediamo a un classico filtro generativo di produrre la stessa immagine dieci volte, molto difficilmente otterremo dieci risultati perfettamente identici: ogni elaborazione può introdurre piccole variazioni. Un comportamento del genere sarebbe inaccettabile all'interno di un videogioco.
DLSS 5 non è una IA generativa libera di inventare ciò che vuole. Il modello opera all'interno dei vincoli imposti dal rendering e deve rimanere estremamente coerente con l'immagine e con le informazioni che il motore ha prodotto. Non può decidere autonomamente che nella scena debba comparire qualcosa che il renderer non ha previsto, né alterare arbitrariamente la struttura di ciò che sta osservando.
È proprio questa relazione con il rendering tradizionale a rendere possibile l'utilizzo del Neural Rendering in tempo reale. Il modello può intervenire sull'aspetto dell'immagine, migliorando la resa di materiali, illuminazione e dettagli, ma deve farlo rimanendo ancorato alla realtà della scena generata dal motore. Per questo la stabilità temporale è uno degli elementi centrali della ricerca presentata da NVIDIA. Il modello non deve comprendere soltanto il singolo frame, ma anche la relazione con quelli che lo precedono e lo seguono. I vettori di movimento diventano quindi fondamentali per capire come gli elementi della scena si stanno muovendo e fornire al modello il contesto necessario per mantenere stabile il risultato.
DLSS 5, insomma, può modificare il modo in cui ciò che è stato renderizzato viene rappresentato, ma non può semplicemente creare qualcosa dal nulla. È questa una delle differenze fondamentali rispetto all'immaginario associato alla IA generative ed uno degli aspetti che rendono il Neural Rendering utilizzabile all'interno di una pipeline videoludica.
NBA 2K27: un banco di prova ideale
A questo punto diventa molto più chiara la scelta di utilizzare proprio NBA 2K27 per mettere in mostra le capacità del DLSS 5. Il gioco di Visual Concepts mette infatti contemporaneamente sotto pressione moltissimi degli elementi che la tecnologia vuole migliorare.
Volti estremamente dettagliati, pelle, capelli, tessuti, materiali differenti e illuminazione complessa. Ma soprattutto tutto questo deve funzionare mentre i giocatori corrono, cambiano direzione, vengono ripresi da telecamere differenti e si muovono sotto le luci dei palazzetti americani.
È quindi un ambiente ideale per verificare la capacità del modello di mantenere stabile il risultato. Non basta produrre un'immagine più bella, ma bisogna produrla in movimento.
Abbiamo avuto la possibilità di provare direttamente NBA 2K27 insieme agli sviluppatori. Il primo impatto può essere riassunto così: il DLSS 5 non produce una trasformazione paragonabile al passaggio a una generazione hardware completamente nuova, ma ci si avvicina molto. In pochi istanti e con la sola pressione di un tasto.
Osservando i giocatori, il cambiamento più interessante riguarda la maniera in cui pelle, capelli e tessuti interagiscono con la luce. La superficie dell'epidermide appare più credibile in determinate condizioni di illuminazione, mentre alcuni materiali acquistano una risposta visiva più complessa. I miglioramenti non si fermano al campo di gioco, ma riguardano anche i dettagli in secondo piano. Persino il pubblico acquista un aspetto più convincente: il DLSS 5 è in grado di dare profondità a elementi che il rendering tradizionale non riuscirebbe a sostenere. L'occlusione, in particolare, diventa più credibile e vicina alla realtà.
Ed è proprio questo il punto interessante. DLSS 5 non deve necessariamente rendere il modello 3D più complesso. Può rendere più convincente ciò che il modello già mette in mostra, semplicemente fornendo una rappresentazione più precisa del comportamento della luce.
Il ruolo degli artisti
È qui che il contributo di Gabriele Leone alla presentazione è diventato particolarmente interessante. Quando si parla di rendering generativo infatti, emerge immediatamente una domanda: quanto controllo rimane nelle mani degli artisti?
Se un modello neurale può modificare l'aspetto dell'immagine, il rischio è che il risultato venga deciso principalmente dall'intelligenza artificiale. L'approccio di NVIDIA, sebbene la prima presentazione della tecnologia abbia fatto temere il peggio, parte invece dalla direzione opposta.
Il Neural Rendering deve essere uno strumento pienamente controllabile all'interno della pipeline artistica. Gli sviluppatori possono stabilire dove utilizzare la tecnologia, con quale intensità e quale risultato vogliono ottenere, creando teoricamente una quantità infinita di livelli che consentono di utilizzare la tecnologia in maniera granulare. Ogni livello poi, può essere regolato indipendentemente dagli altri.
Un titolo realistico può utilizzare DLSS 5 per aumentare la credibilità della pelle o dei materiali. Un gioco stilizzato non deve necessariamente diventare fotorealistico. L'intelligenza artificiale non decide quindi autonomamente come deve apparire un gioco.
I leak usciti negli ultimi giorni sono andati nella direzione esattamente contraria. DLSS 5 uscirà inizialmente su NBA 2K27 per un motivo: sviluppatori e artisti lo hanno implementato secondo le loro esigenze e in funzione della loro direzione artistica. Estrapolare un file .DLL e applicarlo arbitrariamente a qualsiasi cosa, senza il controllo di cui abbiamo appena parlato, rende di fatto il rendering neurale un filtro senza anima. L'applicazione sull'ultimo capitolo della saga cestistica risulta infatti più "morbida" e ragionata rispetto a quello che si è visto in rete, proprio perché l'identità del titolo è stata preservata dai suoi creatori.
Abbiamo chiesto proprio a loro cosa pensano del rischio che il gioco venga messo all'indice al grido di "AI Slop": ci hanno risposto con un sorriso, indicando i monitor sui quali era possibile vedere la bontà della qualità grafica raggiunta.
Ma come saranno le prestazioni?
Tutta questa elaborazione ha necessariamente un costo. La qualità dell'immagine non è l'unico parametro con cui valutare una tecnologia di questo tipo. Bisognerà capire quanto calcolo richiede il Neural Rendering e quale sarà il suo impatto sul frame time complessivo. NVIDIA ha sviluppato DLSS 5 per funzionare in tempo reale, ma il rapporto tra qualità ottenuta e risorse necessarie sarà determinante per la sua diffusione. Purtroppo, non ci è stato possibile accedere direttamente ai dati e su PC di fascia alta, con un gioco come NBA 2K27, è praticamente impossibile notare evidenti cali di prestazioni.
Possiamo dirvi però che abbiamo avuto modo di provare il gioco con DLSS 5 anche su un portatile con RTX 5060 Ti Laptop, ed è forse proprio in questa sede che abbiamo notato i risultati più sbalorditivi. Dato l'hardware di partenza, infatti, il risultato finale in termini qualitativi sembra ancora più eccezionale. Senza Neural Rendering sarebbe impossibile arrivare a certe vette e tutto con prestazioni che all'occhio sono risultate comunque estremamente solide.
Va poi sottolineato il grande lavoro svolto dagli ingegneri del team verde: in pochi mesi sono passati da un modello pesante che girava su due RTX 5090 a una versione pronta per il mercato consumer. Nei prossimi giorni metteremo comunque alle strette la tecnologia e proveremo il gioco con test approfonditi, analizzando effettivamente l'impatto del DLSS 5 sulle prestazioni.
Il futuro del rendering passa dall'IA?
Dopo aver ascoltato direttamente Edward Liu spiegare la tecnologia e aver visto Gabriele Leone approfondire il rapporto tra Neural Rendering e direzione artistica, la definizione di DLSS come "miglioria" appare ormai troppo riduttiva.
Con DLSS 5 l'aspetto stesso dell'immagine viene in parte generato da un modello neurale sulla base delle informazioni prodotte dal motore grafico.
Il motore non scompare: rasterizzazione, ray tracing, geometria, shader e simulazione rimangono fondamentali. Ma sopra questa base si aggiunge un nuovo livello. È qui che DLSS 5 potrebbe rappresentare qualcosa di più importante di una semplice tecnologia NVIDIA, diventando uno dei primi segnali di un cambiamento strutturale nel modo in cui i videogiochi vengono renderizzati.
NBA 2K27 sarà il primo banco di prova concreto. Il 4 settembre inizieremo a capire quanto questa visione sia già pronta per il mondo reale.
