Google presentó "Computer Use" en Gemini: cómo funciona el sistema para que la IA use el mouse por vos

Google prepara una importante actualización para la aplicación de escritorio de Gemini en macOS con el objetivo de transformar la forma en que los usuarios interactúan con la computadora. La compañía trabaja en dos nuevas herramientas que permitirán ejecutar tareas mediante comandos de voz y comprender con mayor precisión el contenido que aparece en pantalla, disminuyendo la dependencia del mouse y el teclado.

Las funciones fueron detectadas en versiones de prueba de Gemini Desktop para macOS y forman parte de la estrategia de Google para integrar cada vez más su inteligencia artificial al sistema operativo. La intención es que el asistente pueda interactuar de manera directa con aplicaciones, documentos y distintos elementos visuales sin que el usuario tenga que cambiar constantemente de ventana.

Una de las principales novedades es un sistema de dictado avanzado que permitirá controlar aplicaciones y dar instrucciones utilizando la voz desde cualquier ventana abierta. Esta característica apunta a simplificar tareas cotidianas, haciendo posible que el usuario interactúe con la computadora sin necesidad de escribir o utilizar el mouse de forma permanente.

También te puede interesar: El Sportivo Social Rojas festejó sus 93 años de vida

La segunda incorporación recibe el nombre de Magic Pointer o "Puntero mágico". Esta herramienta permitirá que Gemini identifique exactamente el elemento que el usuario está señalando o mirando en la pantalla gracias al seguimiento del cursor. De esta manera, la inteligencia artificial podrá comprender mejor el contexto visual antes de responder una consulta o ejecutar una acción.

Estas funciones buscan convertir a Gemini en un asistente mucho más integrado al entorno de escritorio. En lugar de limitarse a responder preguntas, la inteligencia artificial podrá interpretar el contenido que el usuario tiene frente a sí y actuar sobre él de manera más natural.

MÁS INFO

También te puede interesar: Buscá tu teléfono viejo en el cajón: así podés transformarlo en un potente repetidor de Internet gratis

La combinación del control por voz con el reconocimiento del contexto visual representa un nuevo paso en la evolución de Gemini como asistente para computadoras. Aunque por el momento estas herramientas fueron encontradas en versiones de prueba para macOS y todavía no tienen una fecha oficial de lanzamiento, muestran el rumbo que Google pretende seguir para ofrecer una experiencia más fluida, donde la interacción con la PC dependa cada vez menos de los métodos tradicionales de entrada.