Cet article a été rédigé par Pierre-Luc Lapointe, directeur R&D et design XR chez StellarX.
L’IA grandit en popularité, faisant concurrence à des termes tels que la XR et l’informatique spatiale. Toutefois, les experts s’accordent à dire que ces technologies émergentes ne s’affrontent pas; elles convergent plutôt vers un nouveau paradigme. L’IA rend les outils XR plus puissants et plus accessibles, alors que la XR permet aux applications d’IA de résoudre des problèmes autrement insolubles. Les milieux professionnels sont un excellent candidat pour bénéficier de ce combo.
La synergie entre la XR et l’IA est naturelle. La réalité étendue (XR) et les technologies d’intelligence artificielle (IA) peuvent toutes deux enrichir à la fois le corps et l’esprit en augmentant nos capacités perceptives et cognitives. Cette convergence transcende les écrans traditionnels, faisant du corps et de l’esprit de nouvelles interfaces informatiques. Les modèles d’IA avancés, dotés de capacités multimodales, s’agencent parfaitement aux appareils XR équipés de capteurs de vision, sonores, de mouvement et tactiles. La combinaison résultante donne lieu à des expériences immersives, augmentées et contextuelles pouvant améliorer la prise de décision, la formation, la sécurité et l’efficacité opérationnelle au travail.
Pourtant, l’IA générative et la XR sont souvent traitées séparément dans les jeux vidéo, le divertissement et les applications grand public, ce qui éclipse leur vaste potentiel dans d’autres environnements. Cette semaine, par exemple, Meta a lancé Meta AI sur le Meta Quest. La majorité des conversations qui ont suivi ont porté sur son utilisation pour des conseils de mode, ou pour ajouter aux jeux une nouvelle dimension. De mon côté, j’aimerais parler de la manière dont l’IA peut améliorer notre façon de travailler.
Comprendre l’IA générative
Tout d’abord, commençons par dissiper tout malentendu concernant ce qu’est l’IA générative. L’intelligence artificielle évolue rapidement; on affirme que ses différentes formes pourraient changer nos vies, mais comme il s’agit de nouveaux concepts pour la majorité d’entre nous, il peut devenir accablant d’essayer de les déchiffrer. L’IA générative est l’un des termes généralement incompris; voici donc un article sur le blog de StellarX qui l’explore plus en détail. En gros: l’IA générative est un type de modèle d’apprentissage profond pouvant générer du nouveau contenu en se basant sur les données l’ayant formé.
Détecter, puis adapter avec l’IA
Si nous augmentons notre capacité de détection via des appareils XR, toutes les données captées par ces derniers pourraient ensuite être transmises à un modèle d’IA. Ce modèle nous assisterait dans nos tâches cognitives et nous aiderait à prendre de meilleures décisions; en générant du contenu, mais surtout, en s’adaptant à divers contextes.
Au sein d’environnements de travail à haut risque, où la perception du danger peut être altérée par la fatigue ou d'autres conditions, des agents IA multimodaux pourraient prédire les situations dangereuses en temps réel. L’assistance visuelle et auditive fournie par les capteurs d’équipement XR permettrait à l’utilisateur d’améliorer sa conscience spatiale. Les capacités multimodales des systèmes XR et d’IA, quant à elles, pourraient être combinées pour offrir une expérience de travail augmentée contribuant à minimiser les accidents.
Dans un sondage, 45 % des employeurs canadiens citent le fait de trouver des candidats qualifiés comme étant le plus grand obstacle au recrutement. La recherche d’emploi peut sembler nébuleuse, les candidats ne sachant pas comment se préparer à une entrevue malgré leur expertise évidente.
Ainsi, les candidats en recherche d’emploi pourraient grandement bénéficier de la technologie AI-XR pour développer leurs compétences. Des agents virtuels, alimentés par l’IA générative, pourraient les interviewer. Tirant des informations d’offres d’emploi spécifiques, ils pourraient entretenir des conversations naturelles et utiles. Des modèles d’IA pourraient être utilisés pour évaluer les entretiens, ou simplement pour aider les candidats à développer leur confiance.
Ce type de technologie pourrait aussi être utilisé pour perfectionner les compétences d’employés en formation, ou déjà établis. D’une part, si un apprenant éprouve des difficultés, l’IA pourrait adapter automatiquement le scénario XR afin qu’il s’exerce davantage. D’autre part, si un apprenant se débrouille exceptionnellement bien, l’IA pourrait augmenter la difficulté pour le tester plus en profondeur.
.gif)
La santé est un autre domaine très excitant pour l’IA-XR. Imaginez un chirurgien guidé par un assistant IA, capable d’analyser les situations en temps réel et d’identifier des problèmes indétectables à l'œil nu.
De nombreuses recherches indiquent que les tumeurs oubliées lors des chirurgies sont extrêmement problématiques. En présence de cellules résiduelles non détectées et non retirées lors de l’opération initiale, un cancer présente un fort risque de réapparaître. Il va donc sans dire que la collecte de données autonome par la réalité mixte lors de procédures, et son intégration avec l’IA pour traiter les données et en tirer des conclusions, pourrait sauver des vies.
D’un point de vue plus créatif, l’IA-XR offre aussi un moyen facile de générer des scénarios de formation immersifs et interactifs à partir de simples scripts en 3D, dont les esquisses et notes simples seraient animées automatiquement.
Expérimentations chez OVA
Chez OVA, nous travaillons actuellement sur une fonctionnalité d’agent PNJ (personnage non joueur) contrôlé par l’IA afin de faire de ces scénarios hypothétiques une réalité. Si ça vous intéresse, je vous invite à lire sur d’autres de nos initiatives telles que l’emploi de NeRF pour rendre la formation chez Arcelormittal plus sécuritaire, un projet en collaboration avec Scale AI.
Notre travail avec l’agent IA vise à permettre la génération de contenu dynamique dans diverses langues; c’est-à-dire la production de texte, de paroles et d’images en quelques secondes seulement. Les utilisateurs peuvent personnaliser les conversations en nourrissant l’IA de données et de documents spécifiques, lui permettant de répondre avec différents tons, rôles ou personnalités.
De plus, nous explorons présentement la capacité de l’agent IA à détecter ce qui l’entoure grâce à une fonctionnalité de vision. Il pourrait ainsi activer des comportements spécifiques ou décrire des entrées visuelles selon le contexte spatial. Ces outils, visant à ce que les scénarios de formation et d’apprentissage s’adaptent dynamiquement à une variété de contextes, contribueront ultimement à améliorer les expériences interactives combinant la XR et l’IA générative. Armés d’un processus de création de contenu amélioré, les experts pourront se concentrer sur ce qui compte le plus.
Cette fonctionnalité, combinée aux outils de création conviviaux de StellarX, permettra aux utilisateurs de prototyper diverses expériences à l’aide de l’IA générative tout en restant complètement immergés dans leur environnement XR.
L’IA responsable est toujours d’actualité
Alors que nous développons ces technologies, il est essentiel d’assurer la protection de la vie privée et de veiller à ce que les données des utilisateurs soient sécurisées et utilisées de manière responsable. Ces nouveaux systèmes ne doivent surtout pas opérer au sein de boîtes noires; ils doivent être ouverts, transparents et contrôlés. En parallèle, nous devons nous assurer que toutes les données impliquées sont sécurisées, et accessibles par leurs propriétaires uniquement.
Cette politique est d’autant plus importante lorsqu’il s’agit de développer une IA qui ne se base pas seulement sur les entrées textuelles, mais aussi sur la vision par ordinateur, la parole, les images et autres.
Nous explorons les technologies d’IA depuis un moment déjà, et ce, de différentes manières; il s’agit donc de considérations auxquelles nous avons déjà réfléchi en profondeur. Ici, les données sont toujours sécurisées. Nous divulguons comment elles sont utilisées, et prenons des mesures pour assurer une protection maximale au sein des équipes et organisations.
Alors, qu’en pensez-vous? L’IA et la XR pourraient-ils être utilisés pour des cas d’usage que je n’ai pas abordés dans cet article?
.png){kind=small}