Anthropic, une entreprise américaine spécialisée dans l’intelligence artificielle (IA), a introduit le 22 octobre dernier une nouvelle fonctionnalité appelée computer use. Actuellement jumelée au modèle Claude 3.5 Sonnet, cette fonctionnalité permet de contrôler certaines fonctions de votre ordinateur pour exécuter des tâches, sans intervention manuelle.
Computer use est capable d’effectuer des recherches en ligne, de manipuler des documents PDF, de coder, de réaliser des calculs, et même de créer et de gérer des tableaux dans Excel.
Pour l’instant, cette fonctionnalité est en phase expérimentale, car elle peut encore être sujette à des erreurs.
Selon Anthropic, Claude 3.5 Sonnet est le « premier modèle d’IA de pointe à proposer l’utilisation de l’ordinateur dans une version bêta publique ».
Comment fonctionne computer use?
Computer use permet au modèle Claude d’Anthropic d’interagir avec certaines applications de votre ordinateur en simulant des actions comme des clics de souris et des mouvements.
Contrairement à une prise de contrôle visuelle classique, cette fonctionnalité ne repose pas uniquement sur des captures d’écran au sens traditionnel. À la place, computer use utilise une approche de commande virtuelle pour interpréter l’interface et y exécuter les actions requises.
À titre d’exemples, lorsque vous demandez à computer use de rechercher un vol d’avion ou de calculer une somme dans un tableur, l’IA détecte les éléments interactifs de l’interface, comme les champs de recherche ou les cellules Excel.
Elle simule ensuite des clics et des saisies de texte pour interagir avec ces éléments, exactement comme si un utilisateur physique le faisait. Computer use décrit également chaque action dans l’interface de chat pour permettre à l’utilisateur de suivre les étapes de traitement en temps réel.
Ce fonctionnement basé sur des interactions virtuelles assure une certaine sécurité et contrôle sur les tâches automatisées, tout en offrant une précision dans l’exécution des actions demandées.
Dans le cas d’un calcul dans un tableur, computer use ouvre l’application de tableur et effectue les opérations nécessaires pour répondre à votre requête.
Comment installer la fonctionnalité computer use?
- Rendez-vous sur docker.com pour télécharger Docker Desktop en sélectionnant votre système d’exploitation (Mac ou Windows).
- Une fois Docker installé, conservez les options par défaut. Ouvrez ensuite Docker Desktop et cliquez sur l’option Terminal située en bas de l’interface.
- Allez à l’adresse suivante : https://mer.vin/2024/10/anthropic-claude-computer-use/, et copiez le code indiqué. Remplacez la partie « VOTRE CLÉ API ICI » par votre propre clé API.
- Pour obtenir cette clé API, connectez-vous ou créez un compte sur console.anthropic.com/dashboard. Cliquez sur Get API keys pour générer une clé, nommez-la, laissez le Workspace en mode Default, et appuyez sur Add.
- Copiez la clé et collez-la dans le code que vous allez entrer dans le Terminal de Docker.
- Après avoir inséré le code dans le Terminal, cliquez sur localhost : 8888 pour lancer computer se.
Avantages et inconvénients
Avantages :
Intégration d’outils externes : computer use permet à Claude d’utiliser des API externes, ce qui lui donne accès à des informations en temps réel et lui permet d’interagir avec des bases de données, élargissant ainsi ses capacités.
Codage interactif : la fonctionnalité REPL (Read-Eval-Print Loop) offre aux développeurs un environnement dynamique pour tester et exécuter du code, simplifiant le développement et le débogage.
Polyvalence accrue : ces fonctionnalités renforcent la polyvalence de Claude, le rendant plus apte à gérer des tâches complexes et à fournir des solutions personnalisées.
Inconvénients :
Complexité accrue : l’ajout de ces fonctionnalités peut rendre le système plus complexe, nécessitant une formation pour les utilisateurs moins techniques.
Risques de sécurité : l’intégration avec des API externes peut potentiellement exposer le système à des vulnérabilités, ce qui demande des mesures de sécurité pour protéger les données.
Dépendance aux services externes : le recours à des outils et services externes peut rendre le système dépendant de ces derniers, le rendant vulnérable à des interruptions ou changements de service.