¿En qué consiste la IA local y cuál es el interés de Apple y Microsoft?

El concepto se basa en que los dispositivos, como ordenadores o teléfonos móviles, sean capaces de procesar modelos de inteligencia artificial de forma interna, evitando así la necesidad de transmitir cada solicitud a servidores en la nube. Debido a estas ventajas, gigantes tecnológicos como Apple y Microsoft están centrando sus estrategias en el desarrollo de esta tecnología.

Para aquellos que no entienden mucho de inteligencia artificial, lo normal es pensar que esta solo funciona con internet. Le haces una pregunta a ChatGPT, por ejemplo, le pides que resuma un texto o que te ayude a escribir un correo y, normalmente, la petición va hasta los servidores de una empresa antes de que te dé la respuesta.

Pero hay otra forma de hacerlo: que el propio móvil o el ordenador se encargue de ejecutar la IA. Así, algunas de estas peticiones podrían hacerse sin enviar tus datos a la nube y, en algunos casos, incluso sin conexión a internet.

A esta forma de usar la IA se la conoce como IA local y actualmente forma parte de los grandes planes de las compañías, que quieren que sus modelos funcionen en los dispositivos.

Apple y Microsoft (entre otras marcas) llevan tiempo incluyendo funciones de este tipo en sus PC y móviles. La idea es que la IA pueda ayudarte sin que tengas que abrir siempre una aplicación o depender de un servidor externo.

Sin embargo, no todo el mundo cree que ejecutar modelos de IA en casa sea la mejor opción. Sam Altman, CEO de OpenAI, ha puesto en duda que los usuarios tengan que usar sus propios ordenadores para hacer ese trabajo.

¿Qué es la IA local?

La IA local es aquella que funciona directamente en el dispositivo que estás utilizando, ya sea un móvil, un ordenador o una tablet. En lugar de mandar la información a un servidor externo para que la procese, el propio aparato hace el trabajo.

Imagina que le pides a una aplicación que resuma un texto. Si utiliza IA en la nube, el contenido viaja por internet hasta los servidores de la compañía, allí se procesa y después recibes el resultado. Si utiliza IA local, el modelo que hace el resumen está instalado en tu dispositivo y trabaja desde ahí.

Eso puede hacer que la IA responda más rápido, que siga funcionando sin conexión y que los datos personales no tengan que salir del dispositivo. Pero hay una condición: el móvil o PC necesita potencia suficiente para ejecutar el modelo.

Por eso no toda la IA local es igual. Algunos modelos son pequeños y están creados para tareas concretas, como resumir textos cortos, ordenar información o reconocer lo que aparece en una imagen. Otros son mucho más grandes y necesitan dispositivos potentes. En general, cuanto más potente sea el modelo, más recursos necesita.

Uno de los grandes protagonistas es la conocida como NPU, un componente (a veces integrado dentro del procesador o como algo aparte) creado solo para acelerar operaciones de IA con un consumo de energía bajo. Por eso Apple, Microsoft y otros fabricantes hablan de este tipo de hardware como algo novedoso en sus móviles y ordenadores.

¿Por qué Apple y Microsoft apuestan por ella?

Apple lleva tiempo presumiendo de que parte de las funciones de Apple Intelligence se procesan en el propio dispositivo. La compañía combina modelos locales con servidores externos dependiendo de lo que le pidas a la IA. Así, el iPhone, por ejemplo, puede resolver tareas sencillas por su cuenta y recurrir a la nube cuando necesita más potencia.

Microsoft también está incorporando modelos que funcionan en el propio ordenador. Algunos equipos con Windows incluyen esa NPU comentada, que está especializada en tareas de inteligencia artificial y que permite ejecutar algunas funciones sin depender siempre de un servidor.

Por ejemplo, y volviendo a Apple, el último iMac con M6 viene con aceleradores para estas tareas y un Neural Engine de 16 núcleos, encargado de procesar operaciones con IA.

En el fondo, las empresas buscan, por encima de todo, la privacidad: si la petición se procesa en el dispositivo, hay menos necesidad de enviar información personal a servidores externos.

Por otro lado, para ellos la rapidez es algo vital, porque se elimina parte del viaje de ida y vuelta por internet. Pero, sin duda, también hay un componente importante: el coste. Ejecutar algunas tareas de forma local reduce el gasto que supone atender cada petición desde la nube.

¿Por qué Sam Altman cree que usar tu PC para ejecutar IA es un error?

Pero aquí está la cara B. Sam Altman, el máximo responsable de OpenAI, no ve la IA local como la mejor forma de aprovechar los recursos que hay. En una entrevista en el pódcast Cheeky Pint, defendió que ejecutar modelos en ordenadores personales supone, en su opinión, una mala distribución de recursos que escasean, especialmente la memoria.

Afirma que millones de ordenadores tienen memoria y capacidad de procesamiento que no utilizan todo el tiempo. En lugar de repartir esos recursos entre dispositivos que cualquiera puede tener en casa, Altman cree que sería más eficiente concentrarlos en grandes centros de datos, donde pueden aprovecharse mejor.

Pero, por supuesto, estamos hablando de OpenAI, una de las mayores empresas de IA del mundo y, ciertamente, tiene mucho que ganar si la IA sigue dependiendo de sus servidores. Al fin y al cabo, ChatGPT funciona a través de la nube. Cada vez que haces una consulta, la petición se procesa en la infraestructura de la compañía, que necesita invertir enormes cantidades de dinero en centros de datos, chips y energía para mantener el servicio.

Si los usuarios empiezan a descargar modelos y ejecutarlos en sus propios ordenadores, parte de ese trabajo deja de pasar por empresas como OpenAI. Es decir, pueden utilizar inteligencia artificial sin depender tanto de ChatGPT ni de pagar por servicios que funcionan desde la nube. Y eso no le interesa.

¿Qué PC necesitas para ejecutar modelos de IA en local?

Con todo esto, la duda es si necesitas un ordenador carísimo para tener inteligencia artificial funcionando en casa y lo cierto es que no tanto, aunque todo depende de lo que quieras hacer.

El investigador en informática y ciberseguridad Nikhilesh Singh explica que un ordenador con un SSD y entre 16 y 32 GB de RAM puede ser suficiente para empezar a trabajar con modelos pequeños o utilizar servicios de IA a través de una API. En este último caso, el ordenador no hace el trabajo pesado: simplemente envía las peticiones a un servidor externo y recibe las respuestas.

La cosa cambia cuando quieres que el modelo funcione en tu equipo. En ese caso, la memoria de la tarjeta gráfica, conocida como VRAM, es vital. No hay que confundirla con la RAM del ordenador: son memorias diferentes y tener mucha memoria RAM no significa que la tarjeta gráfica tenga de la misma cantidad.

Singh pone como ejemplo una configuración más potente, con hasta 128 GB de RAM y una NVIDIA GeForce RTX 5090. Esta tarjeta gráfica cuenta con 32 GB de VRAM.

Eso sí, no te quedes con la idea de que necesitas una RTX 5090 para probar la IA local. Es una configuración por todo lo alto, no un requisito mínimo. Puedes empezar con equipos algo peores y modelos más pequeños.

También es cierto que depende de lo que quieras hacer. No es lo mismo ejecutar un modelo que entrenarlo. Lo primero significa utilizar una IA que ya está terminada para responder a tus preguntas; lo segundo ya requiere cambios o enseñarle.