Cómo funciona la prueba de modelos

La prueba de modelos (Ajustes > Prueba de modelos, en la aplicación de escritorio desde GlirOS 0.1.4) ejecuta la misma prueba con cualquier modelo: uno de tu PC o un modelo en la nube que hayas activado. Muestra lo que un modelo puede hacer dentro de GlirOS en tu ordenador, para que elijas el adecuado. Consulta también Prueba de modelos en la guía.

Qué significan las puntuaciones

• Calidad (0–100): cuántas respuestas de la prueba fueron correctas, ponderadas para que el trabajo más difícil cuente más. La tarjeta indica cuántas categorías cubre («12 de 17 categorías»).
• Velocidad (0–100): lo rápido que es el modelo en este PC: palabras por segundo, el tiempo hasta la primera palabra y la velocidad con una conversación larga. El mismo modelo puede puntuar distinto en otro ordenador.
• Una línea por categoría: preguntas sencillas y difíciles, razonamiento profundo, ceñirse al texto dado, matemáticas, texto largo exacto, seguir un formato, programación, uso de herramientas, dividir una tarea, chats largos, traducción e idiomas.
• «No disponible» significa que el modelo no puede hacerlo en absoluto (razonamiento profundo sin un modo de razonamiento, por ejemplo). No baja la Calidad.
• Mostrar para: elige lo que te importa (Equilibrado, Funciona con GlirOS, Programación, Idiomas y traducción, Asistente del día a día), y la Calidad se pondera para ello.

Las respuestas las comprueba código, no otro modelo de IA: las matemáticas deben dar el número correcto, el código se ejecuta contra pruebas en un entorno aislado, y una llamada a una herramienta debe usar la herramienta y los argumentos correctos.

Con y sin GlirOS

La programación, el uso de herramientas y dividir una tarea se ejecutan dos veces. Con GlirOS usa la ayuda propia de GlirOS: sus reglas de herramientas y el rescate de llamadas escritas a medias, las correcciones seguras del comprobador de código y una ronda de corrección, y los planes guiados. Sin toma la respuesta tal cual. La diferencia muestra qué cambia la ayuda de GlirOS para ese modelo en tu PC. Puede ser pequeña, varía de un modelo a otro y en algunas preguntas la respuesta sin ayuda sale mejor: la prueba lo muestra en vez de darlo por hecho.

Rápida o completa

• Rápida: unas 42 preguntas, cada una una vez. Unos minutos con una tarjeta gráfica; unos 10–15 minutos para un modelo pequeño en el procesador.
• Completa: todas las categorías. Menos de una hora con una tarjeta gráfica, y de una a dos horas en el procesador de un PC pequeño, donde GlirOS muestra la estimación y sugiere la rápida.

Un modelo de tu PC responde lo mismo cada vez con los ajustes fijos de la prueba, así que cada pregunta se hace una vez, y unas pocas se repiten como control. También puedes elegir los ajustes del fabricante del modelo al empezar; entonces cada pregunta se hace tres veces. Los modelos en la nube varían un poco, así que una prueba completa les hace cada pregunta tres veces y muestra la dispersión.

Modelos en la nube y tokens

Un modelo en la nube pregunta antes. Nombra la empresa, dice que la empresa ve las preguntas de la prueba y cobra los tokens, y muestra los tokens estimados: lo esperado, el máximo posible y el número de peticiones. Algunos modelos cobran aparte el razonamiento.

Después, el resultado muestra los tokens que contó realmente el proveedor, junto a la estimación. Si un modelo usa muchos más de lo estimado, la prueba se detiene y pregunta antes de seguir. GlirOS no muestra precios, porque cambian según el proveedor y a menudo: consulta la lista de precios de tu proveedor antes de una prueba completa.

Lo que nunca toca

• Los textos de la prueba están escritos para GlirOS y no contienen nada tuyo. Nada de tus chats, archivos o ajustes va en una pregunta.
• Las herramientas responden con datos de prueba fijos, así que las categorías de herramientas son iguales para todos, y no les pasa nada a tus propias herramientas.
• Nada va a tus chats, a la memoria ni al registro de actividad. Mientras se ejecuta una prueba, el chat espera, y tu propio modelo vuelve cuando termina.
• No hay una tabla pública de resultados y no se sube nada. Exporta un resultado (una imagen, un archivo, un texto o una tabla) para compartirlo tú mismo, o importa uno de otro PC para comparar.

Una orientación, no un resultado de laboratorio

Una prueba de este tamaño es una orientación. Las diferencias de menos de unos 3 puntos no significan nada, y en una prueba rápida una pregunta vale muchos puntos en su categoría. La velocidad también depende de lo que esté haciendo el PC: el resultado indica si el PC funcionaba con batería.