4D Gaussian Splatting

Et si une simple vidéo pouvait devenir un espace 3D dans lequel on peut réellement se déplacer ?

C’est l’idée derrière cette expérimentation autour du Gaussian Splatting, une technologie récente qui permet, à partir d’images, de reconstruire des scènes en 3D avec un niveau de réalisme impressionnant.

L’objectif était d’aller encore plus loin, ne plus seulement regarder une vidéo, mais pouvoir entrer dedans et explorer la scène !

De la vidéo à la scène 3D

Pour réaliser cette expérimentation, j’ai commencé avec une simple vidéo. Je l’ai d’abord découpée en une succession d’images, puis chaque image a été traitée afin de reconstruire la scène grâce au Gaussian Splatting.

Le résultat obtenu est une reconstruction 3D sous forme de fichier .ply.

Mais ces fichiers peuvent rapidement devenir très lourds. Pour une séquence de seulement quelques secondes, le fichier .ply pouvait atteindre près de 10 Go.

J’ai donc converti la scène dans un format .spz, beaucoup plus léger et mieux adapté à la visualisation : la même séquence passe ainsi d’environ 10 Go à 2 Go.

De la vidéo à la scène 3D

Pour réaliser cette expérimentation, j’ai commencé avec une simple vidéo. Je l’ai d’abord découpée en une succession d’images, puis chaque image a été traitée afin de reconstruire la scène grâce au Gaussian Splatting.

Le résultat obtenu est une reconstruction 3D sous forme de fichier .ply.
Mais ces fichiers peuvent rapidement devenir très lourds. Pour une séquence de seulement quelques secondes, le fichier .ply pouvait atteindre près de 10 Go.

J’ai donc converti la scène dans un format .spz, beaucoup plus léger et mieux adapté à la visualisation : la même séquence passe ainsi d’environ 10 Go à 2 Go.

Et si on pouvait entrer dans la vidéo ?

Une fois la scène reconstruite, j’ai développé un viewer interactif permettant de se déplacer directement à l’intérieur de la reconstruction.

Au lieu de rester face à la vidéo et de suivre un point de vue fixe, on peut donc déplacer la caméra, changer son angle de vue et explorer la scène en 3D.

C’est là que l’expérimentation devient particulièrement intéressante : on ne regarde plus simplement une vidéo, on explore un instant capturé.

Une technologie qui change la manière de capturer le réel

Ce qui rend cette approche particulièrement intéressante, c’est la possibilité de réaliser une reconstruction à partir d’une simple vidéo et d’un seul point de vue, notamment grâce aux travaux et modèles développés par Apple autour de la reconstruction 3D.

Traditionnellement, pour obtenir une reconstruction 3D réaliste d’une scène en mouvement, il faudrait multiplier les points de vue et donc utiliser plusieurs caméras synchronisées. Cela implique davantage de matériel, d’installation, d’espace et de contraintes techniques.

Ici, l’idée est différente : une seule vidéo peut devenir la matière première d’une expérience 3D immersive.

Cela ouvre des perspectives intéressantes pour la création de contenus immersifs : documenter un lieu, capturer une performance, créer des expériences interactives ou encore permettre à quelqu’un de revivre une scène en pouvant l’explorer sous un angle différent.

De la vidéo à la 3D, puis de la 3D à l’exploration : le Gaussian Splatting transforme une capture en véritable espace à parcourir.