Google DeepMind propone transformar el cursor del ratón mediante IA

• La unidad de investigación de Google, DeepMind, ha desarrollado una propuesta innovadora para actualizar el funcionamiento del puntero del ratón. Su objetivo es integrar la inteligencia artificial para convertir el cursor en una capa de IA contextual, superando así la funcionalidad básica que ha mantenido durante décadas.

DeepMind, la división de investigación y desarrollo de inteligencia artificial de Google, ha presentado su idea para reinventar el puntero o cursor del ratón: añadirle IA. En concreto, Google quiere convertir el cursor del ratón en una capa de IA contextual. La propuesta parte de una observación evidente: el cursor del ratón lleva décadas siendo prácticamente el mismo, limitado a señalar, seleccionar y hacer clic. DeepMind quiere que ese cursor entienda qué estamos señalando, por qué puede ser relevante y qué acción queremos realizar después de señalarlo.

Según DeepMind, la clave está en invertir la relación actual entre usuario e IA. Según la compañía, lo habitual hoy en día es abrir una ventana de chatbot, copiar contenido, explicar el contexto y escribir una orden más o menos detallada. Google plantea lo contrario: que la IA salga de su “caja” y se integre directamente en las aplicaciones, documentos, páginas web, imágenes, mapas o flujos de trabajo que el usuario ya está utilizando. En vez de escribir un prompt largo, bastaría con apuntar a un elemento de la pantalla y dar una instrucción natural. Como ejemplo se pone pedir indicaciones sobre un edificio que aparece en una imagen o solicitar una acción sobre un bloque concreto de contenido.

Así es cómo ve Google DeepMind la reinvención del cursor del ratón fusionado con la IA

Google DeepMind estructura esta visión de un cursor de ratón con IA en cuatro principios. El primero es mantener el flujo de trabajo, evitando que el usuario tenga que saltar constantemente entre la app donde está trabajando y la IA. El segundo es “mostrar y decir”, este pasa por combinar el gesto de señalar con una instrucción breve para que el sistema capture automáticamente el contexto visual y semántico. El tercero es aprovechar expresiones humanas como “esto” o “aquello”, que normalmente son ambiguas para un ordenador pero muy naturales cuando se acompañan de un gesto. Y el cuarto es convertir píxeles en entidades accionables. Es decir: fechas, objetos, lugares, recetas, tablas, fragmentos de código o imágenes que la IA pueda entender y manipular.

Los ejemplos que da Google son bastante claros: señalar un PDF y pedir un resumen en viñetas para pegarlo en un email. Pasar el cursor sobre una tabla y pedir una versión en gráfico. Seleccionar una receta y pedir que se dupliquen los ingredientes. O convertir una nota manuscrita en una lista de tareas. La idea no es solo que Gemini vea la pantalla, sino que sea capaz de transformar lo que aparece en pantalla en acciones útiles sin exigir al usuario una descripción larga del contexto.

Lo relevante es que esto no se queda únicamente en investigación. Google ya está integrando parte de estos principios en productos reales. DeepMind indica que, desde ahora, Gemini en Chrome puede responder sobre la parte concreta de una página web que interese al usuario mediante el cursor. Además, Google prepara Magic Pointer para los futuros portátiles Googlebook, unos Chromebook que giran en torno a Gemini Intelligence.

La compañía seguirá añadiendo así más IA a la fuerza a todo su ecosistema y productos

Todo lo relacionado con este cursor de ratón con IA está principalmente ligado a los nuevos portátiles Googlebook y su sistema operativo Aluminium OS. Es por ello que estas funciones inteligentes debutarán, por suerte, en estos equipos portátiles y no estará presente en portátiles con sistemas operativos distintos como Windows 11, macOS o Linux.

Este movimiento encaja en una estrategia más amplia: Gemini Intelligence, una capa de IA proactiva para Android y otros dispositivos del ecosistema Google. La compañía habla de automatizar tareas entre apps, resumir y comparar contenido en Chrome, rellenar formularios complejos usando información de apps conectadas, convertir dictados desordenados en texto pulido con Rambler y crear widgets personalizados mediante lenguaje natural. Es decir, que la IA básicamente se conecte a todas nuestras aplicaciones y herramientas con información personal.

En Android, el despliegue empezará este verano en los últimos Samsung Galaxy y Google Pixel, y se extenderá después a relojes, coches, gafas y portátiles.

¿Tiene sentido reinventar algo que el usuario no ha pedido?

Microsoft ya tiene Click to Do en ordenadores compatibles con Copilot+, una función que identifica texto e imágenes en pantalla para ofrecer acciones, con análisis local en el dispositivo y accesos como Windows + clic o Windows + Q. Y sí, ya sabemos cómo le ha ido Microsoft en su intento de popularizar la IA en Windows 11. Apple, por su parte, amplió Visual Intelligence para que el iPhone pueda buscar y actuar sobre contenido que aparece en pantalla, incluyendo objetos, eventos o búsquedas visuales.

La diferencia de Google está en el énfasis en el cursor con IA como interfaz universal. Microsoft plantea una capa de acciones sobre la pantalla. Apple lo acerca al gesto de captura o análisis visual. Por su parte, Google quiere que el cursor, el gesto de apuntar y la voz funcionen como una sola interfaz multimodal. Si funciona bien, reduce de forma drástica la necesidad de escribir prompts. Si funciona mal, puede convertirse en una capa intrusiva, molesta o demasiado dependiente de que el modelo interprete correctamente el contexto. Por no hablar de que esto tiene otro problema: tener conexión permanente a internet o ejecutar localmente este modelo de IA teniendo un gran impacto en la autonomía del dispositivo.

Para que un cursor con IA sea útil, debe entender con precisión qué parte de la pantalla importa, cuándo debe intervenir y cuándo debe quedarse quieto. También tendrá que explicar bien qué datos está analizando, qué se procesa localmente, qué se envía a la nube y qué permisos tiene para actuar en nombre del usuario. Google insiste en que Gemini Intelligence mantendrá al usuario en control, con acciones iniciadas por orden del usuario y confirmación final en tareas sensibles, pero la aceptación dependerá de cómo se implemente en productos reales.