Google DeepMind ha presentato Genie 4, un modello che genera mondi esplorabili e modificabili in tempo reale. Genie 4 è nativamente multimodale, consentendo la generazione simultanea di musica, rumori ambientali e dialoghi interattivi insieme al mondo di gioco.

Il modello Genie 4 integra e sviluppa le funzionalità della famiglia Gemini: Gemini Omni ancora le simulazioni all'aspetto e al comportamento del mondo reale, mentre gli altri modelli Gemini forniscono il ragionamento complesso necessario per contribuire a mantenere la coerenza e la continuità della simulazione.

Con l’integrazione di Gemini, è possibile avviare un evento e Genie 4 simula ciò che accade in seguito: come reagisce il mondo, che suoni produce e come le persone al suo interno si muovono, reagiscono e parlano. Con Genie 4, è possibile usare il linguaggio naturale per modificare una simulazione in tempo reale, ad esempio cambiando le condizioni meteorologiche, spostando la telecamera o introducendo una nuova persona o un nuovo oggetto, e Gemini adatterà contestualmente il tuo input per renderlo coerente con la scena circostante. Tra i tuoi input, Gemini monitora e gestisce anche la scena per garantire che il mondo si sviluppi in modo armonioso.

Il passo avanti più eclatante è rappresentato dal modo in cui Genie 4 simula le persone, creando personaggi che si muovono in modo naturale, reagiscono organicamente all'ambiente circostante e possono essere controllati interattivamente in tempo reale. I personaggi conversano e reagiscono in base agli input o agli eventi del mondo, tutto in tempo reale.

 Un’altra grande novità è la possibilità di generare l'audio in modo nativo. Ogni mondo riproduce i suoni ambientali del proprio scenario, dal vento tra gli alberi alle onde che si infrangono sulla spiaggia.

Per il momento Genie 4 in anteprima è stata diffusa a scopo di ricerca per tester fidati, al fine di raccogliere feedback prima del rilascio a consumatori e sviluppatori. Il primo passo è stato l'iscrizione agli abbonati a Google AI Ultra in Project Genie e ai partner di accesso anticipato dell'API Gemini e di Google AI Studio.

Guarda il video ufficiale 

Articoli Recenti