Beam: Reflection lancia un MoE aperto da 501B puntando sull'RL massiccio

Un modello di lavoro più che un campione

Reflection presenta Beam come il suo primo modello open-weight, pensato per il codice, il ragionamento e i carichi di lavoro agentici. L'architettura è una Mixture-of-Experts: 501 miliardi di parametri totali, ma solo 23 miliardi sollecitati a ogni token.

Il posizionamento è assunto. Beam si dice competitivo con GLM 5.2 e vicino a Qwen 3.8-Max su codice e task agentici, pur riconoscendo che Kimi K3 resta avanti in capacità bruta. L'argomento è l'efficienza in inferenza.

I numeri pubblicati confermano questo quadro sfumato: 80,9 su SWE-bench Verified, 77,2 su SWE Bench Pro v2-Hard, ma 44,4 su DeepSWE contro 68,0 di Kimi K3 e 74,2 di DeepSeek V4.1 Flash. Il confronto di efficienza si basa su una stima (2 × parametri attivi × token generati) che esclude il prefill e i costi di servizio.

L'RL come asse di scaling principale

Il cuore del post riguarda il reinforcement learning. Reflection ha mobilitato 10.500 GPU GB300 per quattro settimane per generare oltre 100 milioni di rollout, con contesti fino a 256K token. Per confronto, il laboratorio indica che Inkling è stato addestrato su 30 milioni di rollout e MiMo su 753.000.

Il laboratorio afferma che i punteggi su Terminal-Bench, HLE e DeepSWE hanno continuato a progredire con il calcolo RL, senza plateau visibile. Ha utilizzato policy gradient interamente asincroni, con nuovi algoritmi per restare stabile anche apprendendo da interazioni vecchie di più di un giorno, ossia 107 versioni di pesi in ritardo.

Una penalità di lunghezza controllabile ha prima insegnato al modello a risolvere i task con meno token, prima che le capacità agentiche giustificassero risposte più lunghe. L'utente mantiene il controllo tramite un parametro di reasoning effort.

Generalizzazione e ambienti

Addestrato su ragionamento, ingegneria del software e terminale, Beam è progredito nella navigazione web senza aver mai avuto task di browsing. Con accesso al web, ha imparato da solo a interrogare altri LLM e a usare API di OCR per leggere documenti.

Questo RL si basa su quasi un milione di ambienti, in maggioranza sintetici, completati da dati di fornitori e dall'open source. Sono stati filtrati per non essere né banali né impossibili, né hackabili. Secondo Reflection, ogni compromesso sulla qualità dei task si traduceva in un plateau di capacità.

Un'infrastruttura costruita in casa

La piattaforma RL ha sostenuto in media 110.000 rollout simultanei e fino a 170.000 sandbox concorrenti, su oltre 20 cluster, due cloud e quattro regioni. I nuovi pesi raggiungevano la flotta di inferenza in circa 12 secondi mediani, e 71 incidenti di inferenza sono stati assorbiti senza fermare l'addestramento.

Il pre-addestramento ha girato in meno di quattro settimane su 6.144 GPU GB300 NVL72, con uno scheduler Kubernetes proprietario e un sistema di rilevamento della corruzione silenziosa dei dati. Risultato: solo nove rewind semi-automatici e un goodput del 92,3% a fine run.

Dati, architettura e allineamento

I 23,8 trilioni di token provengono dal web, da fonti pubbliche e da dataset con licenza proprietaria. Circa il 95% dei token grezzi viene eliminato, ma Reflection afferma di recuperare 1,8 trilioni di token di qualità che filtri classici avrebbero scartato, di cui l'87% del suo codice web curato.

L'architettura combina attenzione locale e globale intrecciate, esperti finemente instradati e diversi meccanismi di load balancing ispirati a DeepSeek. Il carico dell'esperto più sollecitato non supera 1,04 volte la media a fine pre-addestramento, su 52 layer.

Sul fronte sicurezza, un secondo modello è stato addestrato specificamente sull'allineamento, poi fuso con il modello RL tramite distillazione on-policy multi-insegnante. Reflection promette di pubblicare le sue valutazioni di sicurezza e di aprirne gli strumenti.