Vercel Labs libera agent-desktop: una herramienta de código abierto para controlar aplicaciones con agentes de IA
Vercel Labs presenta agent-desktop para el uso de aplicaciones de escritorio por agentes de IA
Vercel Labs ha publicado agent-desktop, una herramienta de código abierto diseñada para que los agentes de inteligencia artificial puedan observar e interactuar con aplicaciones de escritorio utilizando la información de accesibilidad del sistema operativo.
El proyecto está desarrollado como una interfaz de línea de comandos (CLI) en Rust y una biblioteca en C, distribuida bajo la licencia Apache-2.0. Su versión 1.0.2 fue publicada el 30 de octubre de 2026.
A diferencia de los sistemas de computer use que interpretan capturas de pantalla, agent-desktop trabaja directamente con la estructura de los elementos de cada aplicación. Esto permite que el agente reciba información organizada y referencias específicas para ejecutar acciones.
Según informó MarkTechPost el 31 de octubre de 2026, la herramienta busca ofrecer una forma de interacción con interfaces de escritorio basada en datos estructurados.
Qué es agent-desktop y cómo funciona
Una de las principales características del proyecto es su separación entre la herramienta que interactúa con el escritorio y el agente de IA que decide qué hacer.
agent-desktop no es un agente autónomo. No incorpora un modelo de lenguaje, una interfaz gráfica propia ni un sistema de razonamiento que determine los siguientes pasos.
En su lugar, cada comando realiza una operación, devuelve una respuesta estructurada en JSON y finaliza su ejecución.
El ciclo de observar, actuar y verificar los resultados permanece bajo el control del agente externo que utiliza la herramienta.
Esto permite que agent-desktop se encargue de obtener información de las aplicaciones y ejecutar acciones, mientras que las decisiones corresponden al agente que lo invoca.
El proyecto incluye 60 nombres de comando, de los cuales 56 están operativos.
Acceso a las aplicaciones mediante árboles de accesibilidad
El funcionamiento de agent-desktop se basa en las interfaces de accesibilidad que proporcionan los sistemas operativos.
Para obtener información de las aplicaciones, utiliza mecanismos diferentes según la plataforma:
- macOS: AX API.
- Windows: UI Automation.
- Linux: AT-SPI.
Mediante estas interfaces, agent-desktop obtiene una instantánea estructurada del árbol de accesibilidad de una aplicación y la entrega al agente en formato JSON.
Cada elemento sobre el que se puede actuar recibe una referencia identificable, denominada ref.
De esta manera, el agente puede utilizar las referencias recibidas para indicar sobre qué elemento debe realizar una operación, en lugar de depender de una interpretación visual de la pantalla.
Comparación con el computer use basado en capturas de pantalla
| Característica | Computer use por capturas | agent-desktop |
|---|---|---|
| Obtención de información | Capturas de pantalla | Árbol de accesibilidad del sistema operativo |
| Información entregada | Representación visual de la interfaz | Instantánea estructurada en JSON |
| Identificación de elementos | Interpretación visual | Referencias ref de elementos sobre los que se puede actuar |
| Interacción con la aplicación | Basada en información visual | Acciones dirigidas a elementos del árbol de accesibilidad |
| Dependencia principal | Contenido visual de la pantalla | Información expuesta mediante accesibilidad |
| Datos de reducción de tokens | — | Entre 78% y 96%, según cifras autoinformadas por el creador |
La principal diferencia reside en la representación de la interfaz: agent-desktop aprovecha la estructura de accesibilidad proporcionada por el sistema operativo, mientras que el otro enfoque parte de imágenes de pantalla.
Acciones por referencia, espera automática y manejo de errores
agent-desktop permite ejecutar acciones directamente sobre los elementos identificados mediante referencias.
Estas operaciones funcionan en modo headless de manera predeterminada, por lo que las acciones basadas en referencias no desplazan el puntero ni retiran el foco de la interfaz.
La herramienta también dispone del indicador global --headed, que habilita la entrada física.
Otra característica es su mecanismo de espera automática. Antes de ejecutar una acción, agent-desktop puede esperar hasta 5.000 milisegundos para que el elemento objetivo se encuentre visible, habilitado y estable.
Cuando se producen cambios en la interfaz que afectan la identificación de los elementos, la herramienta contempla errores como:
- STALE_REF: asociado a una referencia que ha dejado de ser válida.
- AMBIGUOUS_TARGET: relacionado con una identificación ambigua del objetivo.
Las respuestas de error también incluyen información sobre si resulta seguro reintentar la operación.
Este comportamiento forma parte del sistema de interacción entre agent-desktop y el agente que controla la secuencia de acciones.
Instantáneas simplificadas para interfaces complejas
El proyecto incorpora una opción denominada --skeleton, diseñada para obtener representaciones reducidas de aplicaciones con estructuras densas.
Al utilizar esta modalidad, la instantánea muestra únicamente tres niveles de profundidad del árbol de accesibilidad.
La respuesta incluye información como children_count, que indica la cantidad de elementos secundarios, y referencias que permiten profundizar en partes específicas de la estructura.
Así, el agente puede comenzar con una representación resumida de la aplicación y utilizar las referencias disponibles para acceder a elementos de mayor profundidad.
Ahorro de tokens: cifras autoinformadas por el creador
Uno de los aspectos destacados del proyecto es la reducción del volumen de información que un agente necesita procesar para interpretar las aplicaciones.
El creador de agent-desktop comunica ahorros de tokens de entre el 78% y el 96% mediante su enfoque basado en accesibilidad.
También presenta un ejemplo con Apple Maps en el que el consumo informado pasa de 3.811 a 273 tokens por vista.
| Métrica | Cifra autoinformada |
|---|---|
| Rango de ahorro de tokens | 78%-96% |
| Apple Maps: consumo inicial por vista | 3.811 tokens |
| Apple Maps: consumo con agent-desktop | 273 tokens |
| Reducción absoluta en el ejemplo | 3.538 tokens |
Estas cifras son resultados autoinformados por el creador de la herramienta y todavía no cuentan con un benchmark independiente.
Los datos ilustran la reducción de tokens que el proyecto atribuye al uso de representaciones estructuradas de las interfaces.
Compatibilidad con macOS, Windows y Linux
agent-desktop está diseñado para funcionar en tres familias de sistemas operativos y admite arquitecturas x64 y ARM64.
| Plataforma | Versión compatible |
|---|---|
| macOS | macOS 13 o posterior |
| Windows | Windows 10 1809 o posterior |
| Windows Server | Server 2019 o posterior |
| Ubuntu | Ubuntu 24.04 o posterior |
| Arquitecturas | x64 y ARM64 |
| Procesamiento | CPU, sin necesidad de GPU |
El funcionamiento se apoya en las interfaces de accesibilidad propias de cada plataforma.
Instalación y preparación de agent-desktop
La herramienta puede instalarse globalmente mediante npm con el siguiente comando:
npm install -g agent-desktop
El proyecto también contempla la instalación mediante Bun, Yarn y pnpm.
Los requisitos adicionales dependen del sistema operativo.
En macOS, es necesario conceder el permiso de Accesibilidad. La herramienta proporciona una guía mediante:
agent-desktop permissions --guide
En Linux, requiere una sesión gráfica con at-spi2-core disponible.
Para facilitar que los agentes conozcan cómo utilizar sus capacidades, el proyecto incorpora el comando:
agent-desktop skills get desktop
Este mecanismo forma parte de la integración de agent-desktop con los agentes que utilizarán sus funciones.
Límites del enfoque basado en accesibilidad
El acceso a las aplicaciones depende de que estas expongan información mediante el árbol de accesibilidad del sistema operativo.
Por ese motivo, las aplicaciones que carecen de un árbol de accesibilidad quedan fuera del alcance de agent-desktop.
Otra delimitación importante es su enfoque en aplicaciones de escritorio. La herramienta no está diseñada para automatizar páginas web.
Para la automatización web, el proyecto mantiene la distinción con agent-browser, la herramienta destinada a ese ámbito.
Vercel en contexto
Vercel Labs es el equipo que publica agent-desktop como proyecto de código abierto, con una CLI desarrollada en Rust y una biblioteca en C.
La versión 1.0.2, publicada el 30 de octubre de 2026, se distribuye bajo la licencia Apache-2.0 y permite que agentes externos utilicen las funciones de interacción con aplicaciones de escritorio.
Fuente: MarkTechPost, 31 de octubre de 2026, «Vercel Labs Open-Sources agent-desktop for Agent Computer Use»: https://www.marktechpost.com/2026/10/31/vercel-labs-agent-desktop-computer-use/
