Google vient de franchir une nouvelle étape dans l’intelligence artificielle avec Gemini 2.5 Computer Use, un modèle capable d’interagir avec les interfaces web comme le ferait un utilisateur humain. Cette avancée transforme la manière dont les agents IA peuvent accomplir des tâches complexes en ligne, sans passer par des API traditionnelles.
Une IA qui agit comme un navigateur personnel
Contrairement aux modèles classiques qui se limitent à des réponses textuelles ou à des appels API, Gemini 2.5 Computer Use peut cliquer, remplir des formulaires, faire défiler des pages et interagir avec des éléments visuels. Il fonctionne en boucle : à chaque étape, il reçoit une capture d’écran, une demande utilisateur et un historique d’actions, puis choisit la prochaine action à effectuer. Une fois celle-ci réalisée, une nouvelle capture est analysée, et le cycle recommence jusqu’à la fin de la tâche.
Cette capacité permet à l’IA de s’adapter à des environnements conçus pour les humains, comme les sites de réservation, les tableaux collaboratifs ou les formulaires administratifs. Elle peut même fonctionner derrière des identifiants, ce qui ouvre la voie à des assistants personnels capables de gérer des démarches en ligne de manière autonome.
Google impose des limites pour prévenir les écarts
Google a intégré des garde-fous pour éviter les actions sensibles non validées, comme les achats ou les saisies de données confidentielles. Chaque action est évaluée avant d’être exécutée, et une confirmation est requise pour les opérations critiques. Le modèle est actuellement disponible en preview via l’API Gemini, notamment sur Google AI Studio et Vertex AI.
Les premiers tests montrent que Gemini 2.5 Computer Use surpasse ses concurrents sur plusieurs benchmarks web et mobiles, avec une latence réduite et une précision accrue. Des cas d’usage concrets ont été présentés : l’IA peut organiser des post-its virtuels, planifier des rendez-vous ou automatiser des tests d’interface.
