Aller au contenu principal

Comment les interfaces numériques futures combinent écrans, gestes, voix et IA

Publié le 15 novembre 2026

7 min

A beautiful blonde relaxing in a mountainous setting
  • Les interfaces évoluent vers davantage de multimodalité : langage naturel, gestes, regard et toucher vont redéfinir nos interactions avec les machines.
  • Quatre scénarios se dessinent pour 2035 : écrans augmentés, interfaces ambiantes, agents IA et interactions presque invisibles.
  • L’accessibilité, la protection des données, et le confort d’usage détermineront la réussite de ces nouvelles interfaces.

Du clavier à la souris, jusqu’aux écrans tactiles, les interfaces ont progressivement simplifié notre accès au numérique. Aujourd’hui, nos interactions avec les machines se diversifient et deviennent de plus en plus intuitives en incorporant la reconnaissance gestuelle et vocale, le suivi oculaire, et la réalité augmentée.

Récemment, une nouvelle étape a été franchie avec l’essor de l’intelligence artificielle générative car, plutôt que de rechercher une fonction dans une application, l’utilisateur peut désormais exprimer directement son intention. Le système interprète sa demande, mobilise les ressources nécessaires et propose une réponse adaptée au contexte.

À l’horizon 2035, les progrès réalisés par ces technologies pourraient transformer en profondeur la façon dont nous naviguons sur internet. Décryptage avec Emmanuel Pietriga, directeur de recherche à l’Inria (Institut national de recherche en sciences et technologies du numérique), spécialiste de l’interaction humain-machine, de la visualisation de données et de la réalité augmentée.

Pour être largement adoptées, les interfaces de demain devront proposer des alternatives, faciliter l’apprentissage des commandes et limiter les efforts physiques comme cognitifs

Emmanuel Pietriga

La multimodalité, nouvelle grammaire de l’interaction

Le prochain bond en avant pourrait venir de la complémentarité entre les différentes modalités d’interaction car il y a une vraie valeur ajoutée à les combiner. Emmanuel Pietriga explique : « La voix permet de formuler une intention, le regard de désigner un élément, le geste de le manipuler et l’écran de visualiser précisément une information. Aucun de ces moyens n’est incompatible avec les autres. »

Dans la maintenance industrielle, par exemple, un technicien équipé de lunettes de réalité augmentée pourrait interroger oralement un assistant IA tout en examinant une machine, et recevoir des instructions qui apparaîtraient directement sur l’équipement concerné pour le guider dans la tâche qu’il doit accomplir.

Cette évolution est déjà perceptible. Avec le casque Vision Pro, Apple combine suivi du regard, mouvements des mains et commandes vocales pour naviguer dans un environnement tridimensionnel tandis qu’avec le Project Astra, Google teste des assistants multimodaux capables d’interpréter simultanément la voix, les images captées par une caméra et les informations affichées à l’écran.

L’enjeu n’est donc plus seulement de multiplier les modes d’interaction, mais de les articuler pour rendre le dialogue avec les machines plus naturel, plus souple et mieux adapté à chaque situation.

Quatre scénarios pour les interfaces de 2035

Selon la place accordée aux écrans, à l’environnement physique et à l’intelligence artificielle, cette transformation pourrait emprunter quatre trajectoires distinctes, qui ne s’excluent pas nécessairement.

Scénario 1 : l’écran devient une interface multimodale

Premier scénario, le plus proche des tendances actuelles : l’écran conserve la place centrale qu’il occupe depuis toujours, mais il est enrichi par de nouvelles modalités de reconnaissance gestuelle, vocale et oculaire.

« Au bureau, un collaborateur pourrait commencer une recherche avec la voix, sélectionner un graphique du regard, corriger des données grâce au clavier puis valider l’opération par un geste. L’IA garantirait la continuité entre ces différentes modes d’interaction, sans imposer de changement d’application. » précise Emmanuel Pietriga.

Cette hybridation permettrait de conserver les avantages de l’interface graphique en termes de visualisation des informations, tout en permettant aux utilisateurs de privilégier la voix, le toucher ou le clavier selon leurs préférences.

Scénario 2 : l’environnement physique se transforme en support d’interaction

Dans cette deuxième trajectoire, l’interface se détache progressivement de l’écran traditionnel pour être intégrée aux objets et aux surfaces de notre environnement.

Les travaux auxquels participe Emmanuel Pietriga donnent un aperçu concret de cette évolution. Avec TriPad, une technique de recherche présentée en 2024, son équipe explore la possibilité d’utiliser une surface plane ordinaire, comme une table ou un mur, comme support tactile pour interagir avec des contenus virtuels en réalité augmentée, grâce au suivi des mains. L’objectif est de permettre aux utilisateurs de s’approprier les surfaces disponibles plutôt que de leur imposer un dispositif unique.

En 2035, un architecte pourrait ainsi utiliser une table pour manipuler la maquette virtuelle d’un bâtiment, tandis qu’un technicien ferait apparaître des commandes sur une surface à proximité de son équipement. Plus besoin de transporter systématiquement un clavier ou un écran : l’environnement deviendrait ponctuellement un espace de commande.

Scénario 3 : les agents IA prennent en charge une partie de la navigation

Troisième possibilité : les utilisateurs n’interagissent plus directement avec chaque logiciel, mais délèguent certaines tâches à des agents d’intelligence artificielle.

Ainsi, pour organiser un déplacement professionnel, l’agent rechercherait les modes de transports les mieux adaptés, comparerait les possibilités et préparerait les réservations, en sollicitant une validation avant les engagements importants. L’interface traditionnelle céderait alors une partie de sa fonction d’intermédiaire à un système capable d’orchestrer plusieurs services.

Pour les entreprises, cette évolution pourrait modifier profondément leur utilisation des logiciels, car la valeur de ceux-ci dépendrait alors de leur capacité à dialoguer et à être mobilisés par des agents.

Cette trajectoire exigerait cependant des garanties fortes : autorisations limitées, traçabilité des opérations, possibilité d’annulation et supervision humaine pour encadrer et contrôler les actions des agents.

Scénario 4 : les interfaces deviennent presque invisibles

Dans ce quatrième scénario, certaines interactions deviennent si fluides qu’elles ne nécessitent presque plus de commandes explicites. Les systèmes numériques sont capables de tenir compte du contexte pour proposer une assistance au moment opportun, sans attendre systématiquement une demande formulée par l’utilisateur.

Cependant, même dans un environnement largement automatisé, les écrans conserveraient toute leur utilité pour comparer, comprendre et décider. L’enjeu ne serait plus de faire disparaître l’interface, mais de déterminer quand elle doit apparaître, sous quelle forme et avec quel degré d’autonomie.

Accessibilité et confiance : les conditions de l’adoption

L’accessibilité constituera un critère majeur d’adoption de ces nouvelles interfaces. La multimodalité peut ouvrir de nouvelles possibilités aux personnes présentant des limitations visuelles, motrices ou auditives, mais elle risque aussi de créer de nouveaux obstacles car un geste peut être difficile à exécuter, ou une commande vocale impossible à réaliser dans un environnement bruyant. Les recommandations WCAG 2.2 du W3C soulignent déjà l’importance de préserver différents modes de saisie. « Pour être largement adoptées, les interfaces de demain devront proposer des alternatives, faciliter l’apprentissage des commandes et limiter les efforts physiques comme cognitifs », précise Emmanuel Pietriga.

La confiance sera aussi un élément déterminant car ces systèmes devront garantir la confidentialité des données, la transparence des traitements et la maîtrise des autorisations. En Europe, les obligations de transparence de l’article 50 de l’AI Act, applicables depuis août 2026, constituent un premier cadre pour informer les personnes lorsqu’elles interagissent directement avec certains systèmes d’IA.

Enfin, la réduction des manipulations ne garantit pas celle de la charge cognitive. Des assistants trop proactifs pourraient multiplier les interruptions, suggérer des actions non sollicitées et rendre difficile la compréhension des décisions automatisées. À l’horizon 2035, la véritable révolution des interfaces pourrait alors résider dans la capacité qui nous sera offerte de choisir quand, comment et pourquoi nous interagissons avec les machines.

Lexique

Interface multimodale :  Système permettant d’interagir à l’aide de plusieurs modalités, comme la voix, le geste, le regard ou le toucher.

Interface contextuelle : Interface qui adapte ses réponses à la situation, à l’activité ou aux préférences de l’utilisateur.

Interface ambiante : Dispositif d’interaction intégré à l’environnement quotidien, ne nécessitant pas toujours un écran dédié.

Agent IA : Système d’intelligence artificielle capable d’organiser et d’exécuter plusieurs actions pour atteindre un objectif, dans les limites des autorisations qui lui sont accordées.

Nous les citons

  • Emmanuel Pietriga

    Chercheur français en informatique, il est directeur de recherche à l’Inria, un institut français spécialisé dans les sciences du numérique. Il dirige l’équipe de recherche ILDA, située au centre Inria de Saclay. Il est spécialiste de la visualisation de données et des interactions entre l’homme et l’ordinateur. Ses recherches visent à rendre les informations complexes plus faciles à comprendre et à manipuler. Il enseigne également la visualisation de données et la programmation web à l’École polytechnique. Grâce à ses travaux, il contribue au développement de nouvelles technologies pour explorer et analyser de grandes quantités de données.

  • W3C

    Le World Wide Web Consortium est un organisme de normalisation qui œuvre à la compatibilité des technologies du Web.

FAQ

  • Leur disparition paraît peu probable. Elles devraient coexister avec des interactions vocales, gestuelles et contextuelles, particulièrement lorsque la visualisation et la précision restent essentielles.

  • Elle pourrait permettre d’exprimer directement une intention, de personnaliser les interactions et d’automatiser certaines tâches, sans devoir naviguer manuellement entre plusieurs applications.

  • La collecte de données personnelles, les erreurs d’interprétation, la perte de contrôle sur les agents autonomes, les difficultés d’accessibilité et la surcharge cognitive constituent des défis majeurs.