Des chercheurs reconstruisent des environnements 3D à partir de réflexions oculaires

Des chercheurs reconstruisent des environnements 3D à partir de réflexions oculaires

Des chercheurs de l’Université du Maryland ont transformé les reflets des yeux en scènes 3D (quelque peu discernables). Le travail est basé sur Neural Radiance Fields (NeRF), une technologie d’intelligence artificielle capable de reconstruire des environnements à partir de photographies 2D. Bien que l’approche par réflexion oculaire ait encore un long chemin à parcourir avant de générer des applications pratiques, l’étude (rapportée pour la première fois par exploration technologique) offre un aperçu fascinant d’une technologie qui pourrait éventuellement révéler un environnement à partir d’une série de simples portraits.

L’équipe a utilisé des réflexions lumineuses subtiles capturées dans les yeux humains (à l’aide d’images consécutives prises à partir d’un seul capteur) pour essayer de discerner l’environnement immédiat de la personne. Ils ont commencé avec plusieurs images haute résolution à partir d’une position de caméra fixe, capturant un individu en mouvement regardant dans la caméra. Ils ont ensuite agrandi les reflets, les ont isolés et ont calculé où regardaient les yeux sur les photos.

Les résultats (voici l’ensemble animé) montrent une reconstruction environnementale décemment perceptible aux yeux humains dans un environnement contrôlé. Une scène capturée avec un œil synthétique (ci-dessous) a produit une scène de rêve plus impressionnante. Cependant, une tentative de modéliser les reflets des yeux des vidéoclips de Miley Cyrus et Lady Gaga n’a produit que de vagues points que les chercheurs ne pouvaient que deviner être une grille LED et une caméra sur un trépied, illustrant à quel point la technologie est utilisée dans le monde réel.

Les reconstitutions avec un œil synthétique étaient beaucoup plus vives et réalistes, avec une qualité onirique.

Université du Maryland

L’équipe a surmonté des obstacles importants pour reconstruire même des scènes floues. Par exemple, la cornée introduit un “bruit inhérent” qui rend difficile la séparation de la lumière réfléchie des textures complexes de l’iris humain. Pour résoudre ce problème, ils ont introduit l’optimisation de la position cornéenne (estimation de la position et de l’orientation de la cornée) et la décomposition de la texture de l’iris (extraction de caractéristiques uniques de l’iris d’un individu) pendant la formation. Enfin, la perte de régularisation de la texture radiale (une technique d’apprentissage automatique qui simule des textures plus lisses que le matériau source) a permis d’isoler et d’améliorer davantage le paysage réfléchi.

Malgré les progrès et les solutions intelligentes, des obstacles importants subsistent. “Nos résultats réels actuels proviennent d’une” configuration de laboratoire “, comme une photo agrandie du visage d’une personne, des lumières de zone pour éclairer la scène et un mouvement délibéré de la personne”, ont écrit les auteurs. “Nous pensons que les configurations sans restriction restent un défi (par exemple, la visioconférence avec un mouvement naturel de la tête) en raison de la résolution inférieure du capteur, de la plage dynamique et du flou de mouvement.” En outre, l’équipe note que leurs hypothèses universelles sur la texture de l’iris peuvent être trop simplistes pour être largement appliquées, en particulier lorsque les yeux tournent généralement plus largement que dans ce type d’environnement contrôlé.

Pourtant, l’équipe considère leurs progrès comme une étape importante qui peut alimenter les progrès futurs. “Avec ce travail, nous espérons inspirer une exploration future qui exploite des repères visuels inattendus et accidentels pour révéler des informations sur le monde qui nous entoure, élargissant les horizons de la reconstruction de scènes 3D.” Bien que des versions plus matures de ce travail puissent entraîner des intrusions effrayantes et indésirables dans la vie privée, vous pouvez au moins être tranquille en sachant que la version actuelle ne peut que vaguement distinguer une poupée Kirby, même dans les conditions les plus idéales.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*