Aller au contenu
Bastian Noel
EN

Études de cas 05 / 05

DepthVistaXR

Affiche en relief, dans un casque de réalité virtuelle, ce qui est à l'écran d'un PC.

Rôle
Conception et développement
Période
2026
État
En pause
Cadre
Projet personnel
Outils
Python, PyTorch, OpenXR, OpenGL
Liens
Voir le code

Le problème

Un casque de réalité virtuelle n'affiche en relief que les contenus prévus pour lui. Je voulais voir n'importe quelle fenêtre Windows en 3D, en temps réel.

Ce que j'ai fait

Chaque brique existait déjà : capture d'écran, modèles d'estimation de profondeur, rendu OpenXR. Mais aucun outil ne proposait la chaîne entière. Je l'ai assemblée en m'appuyant sur le projet libre nunif / IW3, et j'ai travaillé avec l'IA pour écrire les connecteurs entre les modules au plus près de la mémoire et de la mémoire graphique, pour tenir le temps réel. Autour : trois profils de performance, quatre méthodes de capture avec repli automatique, un écran virtuel plat ou courbe, des salles virtuelles et un installeur.

  1. Capture de l'écran Quatre méthodes, avec repli automatique
  2. Estimation de la profondeur Modèles d'IA existants
  3. Une image par œil
  4. Affichage dans le casque Par OpenXR
Source Chaque image de l'écran est convertie en relief, en temps réel.
La carte de profondeur sous l'image : plus c'est clair, plus c'est proche. Tirez la barre pour passer de l'une à l'autre.

Le résultat

Version 1.0.2 publiée avec son installeur, 16 étoiles sur GitHub. Le projet est en pause.

Une autre salle, en forêt.
L'icône de l'application.
Échap
Ctrl K ou /
Ouvrir ce panneau
J K
Étude de cas suivante ou précédente
↑ ↓ Entrée
Choisir dans la liste