• La compañía anunció rStar-Math, una técnica de razonamiento que mejora el rendimiento de los modelos de lenguaje en problemas matemáticos. 

De acuerdo con una publicación en Hugging Face, rStar-Math desafía la idea de que se necesitan modelos muy grandes para un razonamiento matemático sólido. El nuevo desarrollo consigue resultados de vanguardia sin depender de la destilación de conocimiento, una práctica de los modelos grandes que requiere un alto poder de cómputo.

Tradicionalmente, los SLM tienen dificultades con las tareas de razonamiento matemático debido a las limitaciones en la lógica paso a paso y la justificación. rStar-Math aborda esto de frente empleando la búsqueda de árbol de Monte Carlo (MCTS, por sus siglas en inglés). Esta técnica permite al SLM explorar varias rutas de solución, imitando un proceso de pensamiento profundo.

Algo que distingue a la nueva técnica de razonamiento de Microsoft es que va más allá de simplemente encontrar la respuesta. rStar-Math enfatiza la comprensión al requerir que el modelo genere una cadena de pensamiento que incluye explicaciones en lenguaje natural para cada paso, acompañadas del código Python real que ejecuta la solución.

En las prácticas, rStar-Math ha conseguido aumentar la precisión de varios SLM en el conjunto de datos MATH. Por ejemplo, la precisión de Qwen-7B salta del 58,8% a un 90,0%, mientras que Phi 3-mini alcanza el 86,4%. Ambos modelos superan a la versión previa de o1 y se mantienen competitivos con o1-mini, los modelos de lenguaje de OpenAI.

Cómo funciona rStar-Math, la IA de Microsoft que resuelve problemas matemáticos

Para conseguir estos resultados, rStar-Math entrena dos modelos pequeños para que trabajen juntos. El primer modelo, llamado "SLM de política", determina cómo resolver un problema paso a paso utilizando la búsqueda de árbol de Monte Carlo. El segundo, conocido como "modelo de preferencia de proceso" (PPM), ayuda a guiar al primero al juzgar qué tan bueno es cada paso, sin necesidad de que las personas preetiqueten cada uno como bueno o malo.

La clave del éxito de rStar-Math es cómo entrena estos modelos juntos. La técnica crea un proceso de entrenamiento especial donde los modelos mejoran "evolucionando" a sí mismos durante múltiples rondas. Utilizan millones de problemas resueltos para aprender y mejorar en el razonamiento de otros nuevos.

Con esta técnica, Microsoft muestra que los modelos más pequeños y eficientes pueden ser igual de buenos, o incluso mejores, en tareas complejas como el razonamiento matemático. Si bien la tecnología aún está en investigación, los primeros resultados sugieren que los SLM podrían convertirse en una alternativa a los LLM en la resolución de problemas.

Los investigadores de Microsoft confirmaron que liberarán el código de rStar-Math en GitHub para que todos puedan integrarlo a sus modelos. Por el momento no existe una fecha de lanzamiento, puesto que el código está en revisión para una eventual publicación en la web.

Fuentes:

https://hipertextual.com/2025/01/microsoft-consigue-que-su-ia-se-vuelva-experta-en-matematicas