Con el auge de la IA y la proliferación de modelos, las empresas se enfrentan, a la hora de tomar una decisión, a la delicada cuestión de la comparación y la idoneidad de las herramientas utilizadas. De hecho, en pocos meses hemos pasado de 2 o 3 IA que todo el mundo podía nombrar a una avalancha de modelos y variantes, hasta el punto de que resulta difícil orientarse. El panorama de la IA parece estar convirtiéndose en una jungla cada vez más densa. 

Por ejemplo, si tomamos por orden alfabético a Amazon, encontramos como modelos de IA: Amazon Nova Canvas, Amazon Nova Lite, Amazon Nova Micro, Amazon Nova Premier y Amazon Nova Pro. Encontramos las mismas variantes en Google, OpenAI, DeepSeek, Meta, Mistra, Microsoft, xAi, etc. 

¿Cómo orientarse, quién hace qué y qué aspectos hay que tener en cuenta?

Por supuesto, primero hay que saber qué tipo de IA se busca y para qué (texto, imagen, vídeo, música, análisis, investigación) antes de examinar los criterios principales. Empecemos por identificar los criterios sencillos que permiten distinguirlas antes de hablar de los benchmarks. 

El tamaño de la IA determinaría «el grado de inteligencia». Pero cuidado, el tamaño no debe equipararse a la calidad. Las IA más conocidas se han lanzado a una competición de «tamaño» absorbiendo cada vez más datos y parámetros. La contrapartida es que las IA consumen mucha energía y nos hemos dado cuenta de que no solo importa el tamaño. 

Desde hace unos meses se está produciendo un cambio de rumbo y ya no se trata de tener el modelo más grande. De hecho, Microsoft y Apple han anunciado que en 2024 se centrarán en modelos más pequeños (Small Language Model). Para las empresas, una IA especializada no necesita tener miles de millones de parámetros. La tendencia apunta hacia una reducción del tamaño de la IA, que va de la mano de la optimización de los modelos y una especialización en función de los contextos de uso. Esta tendencia no es casual. Pone de relieve el elevado coste de los LLM (un coste que también tiene implicaciones medioambientales) y la necesidad de encontrar salidas, incluso para las pymes. Por lo tanto, el tamaño no es garantía de calidad ni de pertinencia. 

A continuación, la ética, ya que se trata de un verdadero reto que debe tenerse en cuenta desde el momento del diseño del modelo. ¿Por qué? Porque las IA automatizan la toma de decisiones, siguiendo así una tendencia profunda de las sociedades modernas: la despersonalización de las decisiones mediante procesos burocráticos. Pero, mientras que se supone que los procesos burocráticos deben estar definidos por normas transparentes y ser ejecutados por personas, muchas IA destacan por su opacidad. Las IA pueden causar daños, generar contenidos o tomar decisiones contrarias a los valores humanos y ser desviadas hacia un uso malintencionado. 

Por lo tanto, es importante verificar su grado de ética. Esto es posible, al igual que un entrenamiento específico, la verificación de fuentes o el control de sesgos que, por ejemplo, pueden amplificar prejuicios existentes o proporcionar respuestas injustas. Hay empresas que ofrecen este servicio y es recomendable, tanto para las interacciones internas como externas. 

El coste es un factor nada desdeñable cuando una empresa desea dotarse de una IA. Depende del número de parámetros y del tamaño del modelo. Por lo general, cuanto mayores sean estos, mayor será también el coste de uso de la IA. La implantación de una IA es un proyecto que puede conllevar numerosos costes ocultos. Es importante contar con un buen asesoramiento para identificar todos los elementos que componen el coste de implantación de una IA. 

• En primer lugar, hay que determinar el tipo de IA que se desea (automatización sencilla o IA avanzada) y para qué se va a utilizar (textos, imágenes, vídeos, análisis...). 
   
• ¿Mi empresa puede conformarse con una IA lista para usar (en modo SaaS) o necesita una IA a medida que voy a entrenar parcial o totalmente con datos de la empresa? 
   
• A continuación, ¿qué tipo de infraestructura se adapta mejor a mis necesidades? ¿Alojamiento en la nube (pública, híbrida, privada) o internamente en los servidores? 
   
• A estos costes hay que añadir los gastos relacionados con el mantenimiento de la IA (mantenimiento, actualizaciones), la formación de los usuarios y, en el caso de algunos modelos, el precio de las licencias y otras suscripciones. El presupuesto para la implantación de una IA y su funcionamiento es un aspecto que no debe descuidarse para evitar contratiempos. 

Los benchmarks, ¿hacia una estandarización?  

En primer lugar, un poco de historia. Aunque en un principio el benchmark era una herramienta de marketing (creada por Xerox), su aplicación al ámbito informático resultó totalmente natural para posicionarse frente a un grupo de referencia o, dicho de forma más prosaica, para comparar una solución con otra, un hardware o un sistema con otro. 

Lógicamente, el benchmarking de soluciones técnicas se aplica ahora a la IA, o al menos empieza a aplicarse y sigue su auge. 

No obstante, en ámbitos más consolidados, las herramientas de benchmark están claramente identificadas y se utilizan de forma habitual. Algunos benchmarks están especializados y dedicados a un tipo de actividad o incluso a un ámbito de uso concreto. Por ejemplo, en el caso de los videojuegos, que requieren recursos combinados de varios componentes de hardware para sus herramientas de benchmark, la referencia es la herramienta 3DMark, que no solo analiza el rendimiento del procesador o de la tarjeta gráfica, sino el rendimiento global de ambos al mismo tiempo durante la actividad. 

En cuanto a la IA, durante mucho tiempo, la única referencia era el ser humano y el más conocido fue Garry Kasparov, el maestro del ajedrez…

Hoy en día no existe ninguna prueba de rendimiento que permita evaluar el conjunto de prestaciones de forma exhaustiva y global (incluida la ética). Para evaluar el rendimiento de una IA de forma objetiva, hay que recurrir a varias herramientas. El problema con los puntos de referencia en la IA es que, hoy en día, para conocer el rendimiento real de un modelo, solo podemos basarnos principalmente en los puntos de referencia de cada fabricante… lo que equivale a decir que es algo relativo. 

Sin embargo, existen algunos. A continuación, tres ejemplos de benchmarks utilizados para medir la IA:

• El benchmark MMLU (Massive Multitask Language Understanding) abarca 57 ámbitos distintos, como la medicina, la historia y el derecho. Este benchmark permite medir la profundidad y la amplitud de los conocimientos del modelo. Se trata de un conjunto de datos creado en 2020 y procedente de la investigación universitaria. MMLU contiene unas 16 000 preguntas de opción múltiple sobre 57 materias académicas
   .
• El benchmark MATH, como su nombre indica, evalúa la IA en problemas matemáticos complejos. No resulta necesariamente útil si tienes previsto implementar una IA en el ámbito del derecho.
   
• Por último, el benchmark MMMU (2023), siglas de «Massive MultiModal Understanding», es un conjunto de referencia compuesto por 11 500 preguntas de nivel universitario en diferentes disciplinas y cuyo objetivo es evaluar la «percepción» y el razonamiento del modelo (lo que se conoce como competencias multimodales). Este benchmark se basa en materiales como gráficos, esquemas e imágenes. 

Aunque, como se ha visto anteriormente, existen bancos de pruebas, estos son ciertamente recientes y, a menudo, fruto de la investigación universitaria. Es un buen comienzo, pero aún queda camino por recorrer para convencer a las empresas de, en primer lugar, estandarizar estas pruebas comparativas; en segundo lugar, compartir uno o varios bancos de pruebas comunes para evaluar sus IA, al igual que se hace en la informática clásica; y, en tercer lugar, adoptarlas a largo plazo para que evolucionen al mismo ritmo que las IA.