PRISM

Benchmark locale · Tutte le raccolte

Qualità vs prestazioni V3

La pagina riunisce i run V3 verificati di models_hf_2, models_hf, Mistral e Qwen. Ogni simbolo rappresenta una configurazione: i triangoli distinguono le esecuzioni A100, mentre l’asse X mostra il throughput V3 e l’asse Y il relativo Asse C.

Dati README e log verificati · 2026-08-14
Configurazioni visibili15
Qualità massima99,3%
Velocità massima57,07 tok/s
Dataset confrontatoV3
Scatter plot qualità e prestazioni dei modelli sul dataset V3 Asse X asimmetrico: i valori da 0 a 30 token al secondo occupano quattro quinti dello spazio, mentre quelli da 30 a 60 occupano il quinto restante. Asse Y percentuale di merito, dimensione del simbolo numero di miliardi di parametri, colore famiglia del modello e forma hardware: triangolo per A100, cerchio per gli altri hardware. Le barre diagonali rosse indicano Asse C sotto 60%.
Evidenza hardware · stesso modello, formato e V3. Il delta è Asse C A100 − Asse C 2GPU; l’Auto‑Judge coincide con il modello valutato e non isola causalmente l’hardware.
Modello e formato2GPUA100Delta
mistralai/Ministral-3-8B-Instruct-2512-BF16 [BF16]54,4%62,4%+8,0 pp
mistralai/Ministral-3-14B-Instruct-2512-BF16 [GPTQ Int4]60,2%49,3%−10,9 pp
mistralai/Mistral-Small-3.2-24B-Instruct-2506 [GPTQ Int4]26,7%37,8%+11,1 pp
Qwen/Qwen2.5-14B-Instruct [GPTQ Int4]36,5%25,9%−10,6 pp
Qwen/Qwen2.5-14B-Instruct [BitsAndBytes Int8]27,0%29,8%+2,8 pp

Le differenze vanno in entrambe le direzioni: possono dipendere da output candidato, Auto‑Judge, kernel, backend, precisione numerica e retry. Servono repliche controllate e un giudice esterno fisso per stimare un effetto dell’hardware.

Perimetro del test. Ogni configurazione V3 selezionata è inclusa una sola volta per modalità e formato; la variante ridondante openai/gpt-oss-20b · mode=standard è esclusa e resta soltanto mode=instruct. Il grafico usa esclusivamente throughput e Asse C del dataset V3; i risultati legacy V1/V2 non sono visualizzati. Per gpt-5.6-sol il 99,26% proviene dal giudizio dello stesso modello e il numero di parametri, non pubblicato, resta NA. I valori mancanti restano assenti, senza stime.