Sviluppa sulla Claude Platform

“Claude Fable 5.1 è il modello più capace che abbiamo eseguito su CursorBench 3.2, con un punteggio del 73,4% al massimo livello di elaborazione. Lo abbiamo trovato particolarmente abile nel verificare il proprio lavoro, il che gli consente di gestire attività di programmazione complesse dall'inizio alla fine.”

“Il giorno del lancio sposteremo su Claude Fable 5.1 il traffico di Opus 5 in Devin. Nei nostri test ha eguagliato o leggermente superato Fable 5 con un costo per attività inferiore e, grazie alla nuova tariffazione delle letture dalla cache, un modello di classe Fable diventa finalmente sostenibile per i carichi di lavoro che avevamo mantenuto su Opus, a partire dalla revisione del codice.”

“Nell'ambito della nostra valutazione continua dei modelli di IA, Claude Fable 5.1 ha ottenuto risultati notevoli nei nostri test. Utilizzando Claude Code ha individuato correttamente la causa profonda di ogni build non riuscita che abbiamo testato, a tutti i livelli di elaborazione. Comunica inoltre in modo più efficace rispetto ai precedenti modelli Anthropic, con aggiornamenti più sintetici e più facili da seguire.”

“Nei test standardizzati interni, Claude Fable 5.1 risolve un numero maggiore dei nostri problemi di programmazione rispetto a Fable 5 o Opus 5 e raggiunge lo stato dell'arte nell'intuizione sui mercati. Mentre i modelli precedenti diventavano difficili da seguire con il prolungarsi del lavoro, Fable 5.1 resta leggibile anche su attività lunghe e articolate in più fasi.”

“Valutiamo modelli e sistemi su flussi di lavoro reali degli investitori. Su FrontierFinance, il nostro più recente test standardizzato in ambito finanziario, Claude Fable 5.1 mostra un netto miglioramento rispetto a Fable 5, con un punteggio di 55,9% contro 49,2%. Il miglioramento deriva dalla capacità di approfondire fonti attendibili e documentate: su una domanda relativa ai risultati trimestrali è andato direttamente alla trascrizione della conference call e ha individuato le cifre esatte citate dal management, mentre altri modelli si sono affidati a fonti secondarie.”

“Rispetto a Fable 5, Claude Fable 5.1 ha rappresentato un miglioramento enorme su RedlineBench, il nostro test standardizzato per la revisione dei contratti, passando da 47,9 a 57,0. Gran parte del miglioramento riguarda la qualità della prima risposta, dove ha raddoppiato il punteggio precedente, con progressi sostanziali anche sull'accettazione da parte della controparte. Le modifiche proposte erano inoltre più sintetiche, con interventi mediamente più contenuti sui documenti.”

“Claude Fable 5.1 gestisce il lavoro prolungato e non supervisionato meglio di Fable 5. Ho avuto flussi di lavoro che sono proseguiti a lungo senza perdere il filo: il modello tiene traccia del proprio operato, ridefinisce le priorità man mano che le condizioni cambiano e riprende da dove si era interrotto.”

“Sul nostro test standardizzato interno in ambito finanziario, Claude Fable 5.1 eguaglia l'accuratezza di Fable 5 utilizzando il 20% di token in meno. Abbiamo osservato notevoli progressi anche nella generazione di slide: Fable 5.1 spiega dati complessi in un linguaggio più semplice e li traduce in elementi visivi di livello professionale.”

“Sul nostro test standardizzato più impegnativo per agenti di navigazione, Claude Fable 5.1 ha completato l'82% delle attività in circa dieci minuti ciascuna, contro il 74% di Opus 5 e il 57% di Fable 5, utilizzando meno token di entrambi. Risulta più efficace di Fable 5 in ogni dimensione che valutiamo. Ha inoltre svolto esattamente la quantità di lavoro necessaria: non ha mai superato un punto di arresto critico in centinaia di attività misurate.”

“Claude Fable 5.1 è un modello di riferimento per le nostre valutazioni sull'analisi degli incidenti, che utilizzano incidenti di produzione reali per misurare l'efficacia del nostro agente, Bits Investigation, nel produrre analisi delle cause profonde. Confrontiamo i risultati del nostro agente con le cause individuate dai nostri ingegneri. In queste valutazioni ha dimostrato una capacità di ragionamento superiore a Opus 5 e ha diagnosticato con successo gli incidenti di produzione più complessi che abbiamo testato.”

“Sui problemi più difficili di cui ci occupiamo, Claude Fable 5.1 si distingue nettamente da qualsiasi altro modello che abbiamo provato. Su un problema di massima complessità che utilizziamo come banco di prova da 18 mesi, ha prodotto progressi concreti. Anziché limitarsi a raccogliere dati, ha individuato collegamenti originali di una chiarezza che non ho riscontrato altrove. Ha inoltre ottimizzato di circa il 35% un kernel di calcolo sul quale Fable 5 aveva esaurito le proprie possibilità.”

“Su tutti i nostri set di valutazione, i nostri valutatori hanno preferito le risposte di Claude Fable 5.1 a quelle di Fable 5 con un rapporto di circa due a uno, sia su domande di conoscenza generale, sia su ricerche mirate, sia su attività di redazione e produzione di manufatti, il tutto con un migliore ancoraggio delle risposte rispetto a Fable. Questi risultati hanno reso Fable 5.1 la nostra raccomandazione di riferimento ovunque in precedenza si optasse per Fable 5.”

“Avevamo una modifica che interessava più di otto servizi distribuiti su tre codebase. Claude Fable 5.1 ha mappato l'intero flusso di lavoro dall'inizio alla fine, con un livello di dettaglio estremo, dalla chiamata di servizio in ingresso fino alla singola funzione e alle tabelle e righe del database, mantenendo l'accuratezza fino in fondo. Abbiamo apprezzato la possibilità di testare il modello e fornire riscontri, il che ci aiuta a prepararci a una nuova fase in cui potremo affidare a questi strumenti iniziative sempre più ambiziose.”

“Nella nostra valutazione su PowerPoint, Claude Fable 5.1 ha prodotto le presentazioni migliori tra tutti i modelli testati, sia per la qualità delle slide sia per la completezza nel trattare il tema di ricerca. La stessa completezza è emersa nella valutazione sulle citazioni, dove ha ottenuto il miglior recupero di informazioni sui documenti finanziari. E su domande complesse e articolate è il primo modello che abbiamo visto rispondere a ogni singola parte.”

“L'aspetto che spicca in Claude Fable 5.1 è la scrittura: più comprensibile, più significativa, e rispetta meglio le nostre linee guida redazionali. Nei test in cieco contro Fable 5 ho preferito i suoi testi e i suoi risultati. E in Canva Code ha realizzato un gioco ritmico con musica reale e un gameplay a tempo, calibrato sul livello che aveva generato: qualcosa che nessun altro modello testato è riuscito a produrre.”

“Per qualsiasi attività di ricerca, sviluppo da zero o lavoro di lungo periodo, userei senza dubbio Claude Fable 5.1 come orchestratore. In un'esecuzione non supervisionata di 38 ore su un problema di machine learning ha diagnosticato che un risultato precedente derivava da un artefatto di etichettatura, ha applicato la correzione, ha avviato sei esperimenti paralleli eseguiti durante la notte ed è tornato con un risultato e i passaggi successivi. Di fronte a una richiesta aperta di individuare il problema più rilevante privo di un responsabile, ha portato alla luce un avviso non assegnato collegato a un'interruzione in produzione, ha recuperato i log e ha indicato la soluzione.”

“Claude Fable 5.1 è davvero brillante. Nella nostra valutazione simulata di gestione aziendale su 30 giorni, in cui il modello dispone di accesso completo a strumenti, clienti, dipendenti e fornitori Square simulati, si è rivelato molto più efficiente per token rispetto a Opus 5. Prevediamo di utilizzarlo per affrontare i nostri scenari più complessi, quelli che in passato richiedevano giornate di lavoro alla lavagna, così che i nostri team di ingegneria possano mantenere un ritmo elevato.”

“Abbiamo chiesto a Claude Fable 5.1 di esaminare un progetto di ricerca clinica per Rakuten Medical che altri tre modelli di frontiera avevano approvato. Ha individuato una lacuna che nessuno di loro aveva rilevato e ha insistito per approfondirla. Ha poi proposto un'ipotesi completamente nuova, trasformando in un pomeriggio un set di dati che avevamo accantonato in una nuova direzione di ricerca. È la prima volta che un modello di frontiera come Claude ci consente di esplorare nuove ricerche in questo modo.”

“Sulla nostra suite di ricerca, Claude Fable 5.1 ha stabilito nuovi punteggi record. In un'attività ha elaborato una soluzione originale lungo una direttrice completamente diversa da quelle osservate in altri modelli o, in passato, in ricercatori umani, portando i risultati ben oltre il precedente plateau. È più efficace nella risoluzione creativa dei problemi e nel cogliere l'intuizione necessaria per affrontare una questione complessa.”

“È un Fable alla portata di tutti. Intelligenza di livello Fable, prezzo di livello Opus, velocità di livello Sonnet. Nei nostri test è risultato circa due volte più veloce di Opus 5 e ha impiegato la metà dei token, quindi per chi usa abitualmente Opus come strumento quotidiano l'aggiornamento è una scelta ovvia.”

“Claude Fable 5.1 ha realizzato un prototipo complesso in circa tre giorni. Ha condotto una ricerca iniziale su tutto il codice dei nostri servizi e sulla documentazione per produrre una progettazione originale ed estensibile. Ha poi lavorato per ore senza supervisione, con solidi cicli di verifica, implementando l'intero prototipo. Al mattino trovavo la fase successiva completata, con una presentazione visiva integrale di quanto realizzato e prove chiare del risultato raggiunto.”

“Una porzione di codice presentava un crash estremamente raro, circa una esecuzione su un milione, che nessuno nel nostro team era riuscito a spiegare in quattro o cinque anni. Tutti i modelli che ho provato, incluso Fable 5, non lo hanno individuato. Claude Fable 5.1 è stato il primo a trovarlo. Ha disassemblato la libreria di un fornitore esterno, l'ha confrontata con il core dump e ha ricondotto il crash a un bug presente in quella libreria. Il tempo necessario a svolgere manualmente una simile analisi sarebbe difficilmente giustificabile.”