Self‑Judge vs giudice OpenAI

Per ogni configurazione, le due barre adiacenti confrontano la qualità end-to-end attribuita dal modello a sé stesso con l’Asse C ricalcolato dal giudice terzo OpenAI.

22 run V3 selezionati · 2026-08-14 14:15 UTC

Configurazioni visibili22

Scarto medio assoluto—

OpenAI più severo—

OpenAI più generoso—

Self‑Judge · Auto‑Judge OpenAI · gpt-5.6-sol Δ = OpenAI − Self‑Judge

MODEL_ID / configurazione0%25%50%75%100%Δ

Metodo. Sono inclusi 22 run V3 completi associabili senza ambiguità alla valutazione del candidato, incluso il confronto GPT‑OSS standard su 2GPU e A100 e i due run Together. La barra azzurra usa self_judge_end_to_end_quality_pct (sorgente Auto‑Judge); la barra rossa usa third_party_axis_c_pct (giudice OpenAI gpt-5.6-sol, reasoning effort medium), con snapshot del 2026-08-14 14:15 UTC. Per il candidato gpt-5.6-sol le due barre riportano lo stesso 99,26% perché candidato e giudice coincidono: questa singola riga non costituisce un confronto indipendente. Lo scarto non stabilisce automaticamente quale giudice abbia ragione: misura il disaccordo fra le due valutazioni. Reasoning candidato GPT‑OSS. I run locali MXFP4 (2GPU/A100) mostrano reasoning=medium: default del chat template, mai passato esplicitamente al candidato prima del 2026-08-19 — dedotto dal codice, non misurato né loggato. I run Inference Provider (Together/DeepInfra) mostrano invece reasoning=low: quegli script passavano già reasoning_effort esplicito al candidato, con default codificato "low" — anch'esso dedotto dal codice sorgente, non da una riga di log esplicita.

Inference Provider: barre OpenAI disponibili. Together openai/gpt-oss-20b confronta 43,0% Auto-Judge con 43,33% OpenAI; Together openai/gpt-oss-120b confronta 95,9% Auto-Judge con 94,26% OpenAI.