Article original : 8 Ways AI Makes Virtual & Augmented Reality Even More Real

Par Mariya Yao

Cet article a été écrit et édité en collaboration avec l'auteur de TOPBOTS Nick Hall.

La réalité régulière est perturbée par la réalité virtuelle et augmentée (VR/AR). Les plus grands noms de la technologie se battent pour alimenter la prochaine génération de divertissement, d'éducation et de communication.

Facebook a acquis Oculus pour rendre les réseaux sociaux de nouvelle génération virtuels. Le PDG d'Apple, Tim Cook, affirme que la réalité augmentée sera « aussi grande que l'iPhone ». Le HoloLens de Microsoft, le Tango de Google et le Project Alloy d'Intel ne sont que quelques-uns des nombreux développements en cours pour rendre les appareils VR/AR aussi omniprésents que les ordinateurs et les téléphones.

Une autre grande tendance, l'intelligence artificielle (IA), augmente la complexité technique derrière les expériences VR/AR captivantes. Malgré le battage médiatique, les progrès que l'IA apporte dans la VR/AR ne sont en aucun cas artificiels.

Voici 8 façons spécifiques dont l'IA rend nos réalités virtuelles encore plus réelles.

1. Cartographie de l'environnement physique

Le Bridge d'Occipital est un exemple de la façon dont l'IA peut aider à cartographier des environnements entiers en temps réel et à mélanger les résultats avec un monde virtuel. Le capteur de structure externe sur Bridge alimente un système d'IA et permet une expérience de « réalité mixte » entièrement dans le casque. Cela fonctionne grâce à la magie de la perception instantanée de la profondeur et au positionnement précis avec six degrés de liberté. Le résultat est que vous obtenez une expérience VR totalement immersive avec des structures du monde réel.

Le système naissant peut déjà produire des modèles de qualité CAO de votre maison, afin que vous puissiez essayer des meubles et des décorations avant d'acheter. Cette version mixte de la réalité pourrait offrir des expériences de shopping AR précises dans les magasins de détail locaux. La société invite également les développeurs à créer de nouvelles applications et adopte une approche open-source.

Google Tango est probablement plus avancé et déjà disponible sur le Lenovo Phab 2. Jusqu'à présent, la plupart des applications ciblant le téléphone ont été des jeux relativement simples. Nous nous attendons à ce que cela change rapidement.

2. Perception précise de la profondeur

Il est une chose de cartographier les murs d'un bâtiment, mais c'en est une autre de cartographier les organes internes en constante évolution d'un patient sur la table d'opération. Nous nous rapprochons d'un monde où un chirurgien verra vos principaux organes à travers un casque, avec une version moderne de la vision aux rayons X. En effet, nous avons les premiers concepts de mbits imaging et du « Surgery Pad ».

En regardant plus loin dans le futur, les robots chirurgicaux prendront en charge les procédures de routine. Une partie essentielle de ces dispositifs sera la perception automatique de la profondeur et les ajustements instantanés et précis. Même la respiration régulée provoque de légers déplacements de la position du patient, donc seule la précision de l'IA peut gérer le grand nombre de calculs qui feront la différence entre une coupe nette et une artère sectionnée.

3. Avertissements sélectifs de dangers

Les soldats sur le terrain prennent des décisions en une fraction de seconde sous le feu nourri qui peuvent séparer la vie de la mort. En même temps, ils sont bombardés d'informations provenant des yeux dans le ciel et de l'équipage de la base.

L'intelligence artificielle a le pouvoir de prendre des décisions complexes pour eux et a déjà été employée dans les stratégies militaires. Un système AR alimenté par l'IA peut exécuter des millions de simulations, comparer les situations actuelles aux archives et déterminer le meilleur cours d'action avant que des balles ne soient tirées. Les soldats de l'avenir auront un champ de vision de style jeu vidéo avec toutes les assistances activées.

L'AR peut également mettre en évidence les dangers clairs et présents, ce qui permet aux soldats sur le terrain de faire des choix éclairés et de traiter les menaces dans l'ordre. ARC4 est une petite étape vers cette vision future. Un système connecté à la puissance des drones militaires, des satellites et plus encore, le champ de bataille de l'avenir sera un environnement beaucoup plus high-tech.

La technologie militaire se répandra dans les cas d'utilisation civils. Le même système AR qui aide les Marines à gagner la journée peut sauver les cyclistes des voitures arrivant en sens inverse. Le Varia Vision équipé de radar de Garmin donne une idée de ce qui va venir, mais les futurs modèles verront autour des coins et vous donneront un avertissement à l'avance avant que vous ne soyez même en danger.

4. Simulation et formation personnalisées

La combinaison de l'intelligence artificielle et de la VR/AR est un outil puissant pour éduquer la prochaine génération de chirurgiens, de pilotes et même des jeunes à l'école.

Les médecins obtiennent déjà d'innombrables heures de temps de chirurgie virtuelle afin qu'ils puissent rencontrer chaque complication avant de se rendre dans les services. Les équipes médicales d'urgence (EMT) traitent les accidents de voiture et les catastrophes naturelles, les pompiers naviguent dans les pires incendies, et les pilotes vivent comment les moteurs tombent en panne — tout cela dans des mondes virtuels sans une seule vie en jeu.

L'IA peut améliorer la formation simulée en incorporant plus de points de données, en comparant et en contrastant différentes techniques, et en personnalisant l'éducation. Le système agira plus comme un entraîneur personnalisable que comme un simulateur statique. Les enfants pourraient avoir leur propre guide touristique personnel à travers l'ancienne Rome et la jungle amazonienne. Ils pourront poser des questions, voir le monde en action et vivre une éducation interactive que les livres ne peuvent tout simplement pas offrir.

Avec un simple ensemble de capteurs et un casque qui surveille chaque mouvement, nous devrions pouvoir apprendre tout, du swing de golf parfait à la langue chinoise. Pratiquement tout le monde devrait pouvoir accéder à un coaching de classe mondiale dans n'importe quelle discipline académique ou sportive. La combinaison de l'IA avec la VR/AR a le potentiel de démocratiser l'éducation et de donner à chaque étudiant une chance d'apprendre.

5. Véritables réseaux sociaux

Un jour, nous regarderons en arrière et rirons de la petite fenêtre de chat de Facebook alors que nous nous détendrons autour d'un café virtuel avec un ami qui se trouve à l'autre bout du monde. Dans un avenir proche, nous pourrons rencontrer nos amis dans des environnements réels ou virtuels, d'une salle de billard au Taj Mahal, et interagir comme s'ils étaient dans la même pièce. La puissance de traitement requise pour cela est stupéfiante, mais aussi à notre portée grâce à l'IA.

Facebook, qui a investi massivement dans la VR avec l'achat d'Oculus Rift, utilise déjà des modèles génératifs issus de l'apprentissage profond pour concevoir automatiquement des avatars de personnages crédibles basés sur vos photos.

6. Modélisation de personnages

Actuellement, nous employons deux méthodes pour animer les personnages : la capture de mouvement et le travail manuel en CG. Les animations artisanales sont laborieuses, tandis que la capture de mouvement est limitée aux capacités physiques de l'acteur modélisé. Les méthodes changent grâce à l'IA, telles que l'apprentissage par démonstration, l'IA auto-apprenante, et les réseaux neuronaux à fonctions de phase.

La capture de mouvement implique l'enregistrement fastidieux d'une vaste gamme de mouvements qui sont essentiellement répétés encore et encore. De nouveaux systèmes comme les réseaux neuronaux à fonctions de phase, développés par l'Université d'Édimbourg, utilisent l'apprentissage automatique pour combiner une vaste bibliothèque de mouvements stockés et les mapper sur de nouveaux personnages.

L'équipe a appliqué le réseau neuronal à un personnage qu'elle a appelé The Orange Duck et les résultats sont remarquables.

Cela ouvrira un nouveau monde d'animation réaliste dans les jeux vidéo, les dessins animés et les environnements de réalité virtuelle. Une session relativement simple de capture de mouvement peut se transformer en une gamme complète de mouvements avec l'aide d'un réseau neuronal. Cela signifie que des personnages réalistes peuvent, théoriquement, être créés à la volée.

Tout le monde n'est pas heureux avec l'animation pilotée par l'IA. Le fondateur du Studio Ghibli, Hayao Miyazaki, a notoirement réfléchi que l'IA représentait la « fin des temps » lorsqu'on lui a montré des modèles de personnages automatisés de la société japonaise DWANGO. Peut-être ne devriez-vous pas être surpris qu'un homme qui a passé toute sa vie à dessiner soit contrarié par une IA qui remplace le dessin.

7. Personnages non-joueurs (NPCs) conversationnels

Les personnages auxiliaires non-joueurs (NPCs) dans les jeux vidéo sont notoires pour se comporter de manière étrange. Ils agissent avec nonchalance lorsque des crimes sont commis devant eux ou lorsque des étrangers font irruption dans leurs maisons. Leur conversation est guindée et ils ne s'adaptent tout simplement pas aux circonstances.

Même dans les jeux axés sur la conversation comme Mass Effect, les NPCs sont une réflexion après coup. La console n'a qu'une puissance de traitement limitée à offrir, donc les NPCs deviennent souvent partie intégrante de l'arrière-plan. Mais avec l'IA pour alimenter leur réalisme, les NPCs pourraient s'adapter aux événements et même participer à une véritable conversation. Les consoles de jeu, en particulier pour la VR, pourraient porter des puces neuromorphiques qui envoient des tâches liées à l'IA à des serveurs cloud, de sorte que même les personnages secondaires peuvent évoluer en fonction des entrées des autres joueurs.

8. Optimisation du rendu

L'un des plus grands défis de la VR/AR est le rendu de graphismes réalistes avec le matériel grand public d'aujourd'hui. Trop de complexité conduit à des images pixelisées et à des retards. Cela provoque des maux de tête pour les porteurs de casques VR. Le résultat est que la plupart des expériences VR sont simplistes et manquent de détails convaincants.

L'application de l'IA au rendu de jeu est si évidente que Nvidia propose même des cours formels enseignant aux artistes 3D et graphiques comment appliquer les techniques d'apprentissage profond à des tâches comme la super résolution, la cartographie de photos à textures et la multiplication de textures. En VR, l'apprentissage automatique peut être utilisé pour le rendu sélectif, où seules les portions d'une scène où un spectateur regarde sont générées dynamiquement en pleine fidélité visuelle, économisant ainsi les coûts de calcul. Les images peuvent également être compressées de manière plus intelligente avec des techniques d'IA, permettant une transmission plus rapide sur les connexions sans fil sans perte discernable de qualité.

Les barrières de coût élevé et le matériel en retard ont causé un battage médiatique excessif autour de la VR/AR ces dernières années. En utilisant l'IA pour surmonter les barrières techniques et améliorer le réalisme, vous pouvez maintenant examiner le paysage intrigant et alien de Mars à moins de 30 cm de la topologie réelle. Étant donné que le taux d'acceptation des astronautes de la NASA est inférieur à 0,08 %, la VR — alimentée par l'IA — est probablement la plus proche que vous puissiez obtenir d'une aventure spatiale.

_Aimez ce que vous lisez ? Vous pouvez trouver plus d'histoires comme celle-ci sur www.topbots.com. Ou rejoignez la communauté TOPBOTS pour obtenir les meilleures nouvelles sur les bots et du contenu exclusif de l'industrie._