Detent Bench
Il nostro benchmark interno, costruito su test end-to-end dalla richiesta al production-ready. Dice quanto la linea di consegna è effettivamente potente e completa, fino al rilascio.
Cosa misura
La linea, non il modello. Quante lavorazioni, su un repository vero, arrivano dalla richiesta al production-ready: piano corretto, prove verdi, firma umana, rilascio che tiene.
Come è fatto
Test end-to-end sul percorso intero. Stesso contratto di lavorazione, stesse prove indipendenti, stesso gate di firma. Chi esegue non scrive i test che lo giudicano.
Cosa risponde
Quanto la linea è potente e completa, dalla richiesta al rilascio che tiene. Non quanto un agente è bravo su un task sintetico, in una sessione che poi sparisce.
Quattro livelli, uno dopo l’altro.
Non è un punteggio unico. È una scala: ogni livello restringe il precedente. Il numero che conta è dove la lavorazione si ferma.
L’unità non è il prompt. È il contratto di lavorazione.
SHA di partenza, richiesta, criteri di accettazione, contesto autorizzato, budget, strumenti permessi, verifica indipendente. Se il metro non emerge, lo diciamo e il pilota si ferma: un livello che non muove quei numeri è complessità in più, non un prodotto.
Detent Bench non è un leaderboard di modelli. È la prova della linea. Con più linee comparabili diventa un’altra cosa: sapere con le prove in mano quali lavori si possono delegare, con quale completezza e con quale rischio.
Parla con il fondatore