Brier score: wie voorspelt echt beter?
Olas Predict komt 1,2 procentpunt bij GPT-5.6, maar kansen meet je met de Brier score. Vul zelf voorspellingen in en zie het verschil met nauwkeurigheid.

12 november 2026 · bijgewerkt 13 november 2026
Een voorspeller kan vaker gelijk hebben dan een ander en toch slechtere kansen geven. In de tabel die Valory bij zijn nieuwe model publiceerde, staat daar een voorbeeld van. De historische GPT-4.1-basislijn heeft 58,5% gebalanceerde nauwkeurigheid, en een Brier score van 0,3110. Wie bij elke vraag gewoon 50% zegt, scoort 0,25. Dat is beter.
Valory meldde op 11 november 2026 dat Olas-Predict-Qwen3.8-27B, een model met open gewichten, op 67,3% gebalanceerde nauwkeurigheid komt. GPT-5.6 haalt in dezelfde vergelijking 68,5%. Die 1,2 procentpunt zegt hoe vaak het model de goede kant koos. De Brier score meet iets anders: hoe goed de kansen waren. Dat vertelt een ander verhaal.
Brier score: wat meet 0,2124 eigenlijk?
Per voorspelling neem je het verschil tussen de kans en de uitkomst, en je kwadrateert dat. De uitkomst is 1 als het gebeurde en 0 als het niet gebeurde. Daarna neem je het gemiddelde. Zegt een model 90% en gebeurt het niet, dan is de fout (0,9 − 0)² = 0,81. Gebeurt het wel, dan is het (0,9 − 1)² = 0,01.
Lager is dus beter, en overmoedige missers kosten het meest. Zegt een model elke keer 50%, dan is de fout altijd (0,5 − 1)² of (0,5 − 0)², en dat is steeds 0,25. Dat is de lat voor niets weten. De Brier score op Wikipedia legt dezelfde formule uit.
Wat zegt de tabel van Valory?
Valory rapporteert vijf systemen op 6.824 voorspellingsmarkten waar onderzoek naar kan worden gedaan. Bij gebalanceerde nauwkeurigheid telt elke uitkomstklasse, ja en nee, even zwaar mee. De systemen kregen dezelfde prompts en hetzelfde bewijs, bij temperatuur nul. Het datumfilter volgt de kennisgrens van GPT-5.6, 16 februari 2026. Het verschil tussen Olas (0,2124) en GPT-5.6 (0,2029) is 0,0095. Bron: de aankondiging op de Olas-blog van 11 november 2026, met de volledige tabel onderaan. Unite.AI (11 november 2026) gaf dezelfde cijfers in het Nederlands.
De Brier score van de GPT-4.1-basislijn ligt boven de 0,25 van de muntworp. De tabel zegt zelf dat dit die specifieke basislijn is, geen nieuwe score voor GPT-4.1. Het laat wel zien dat nauwkeurigheid en kansen twee metingen zijn.
| Systeem | Brier |
|---|---|
| Historische GPT-4.1-basislijn | 0,3110 |
| Olas-Predict-R1-14B | 0,2722 |
| Altijd 50% zeggen (rekenregel) | 0,2500 |
| Qwen3.8-27B vóór domeintraining | 0,2235 |
| Olas-Predict-Qwen3.8-27B | 0,2124 |
| GPT-5.6 als vergelijkingsmodel | 0,2029 |
Hoeveel van de winst komt van het model zelf?
Het grootste deel komt van het basismodel. Qwen3.8-27B haalt zonder domeintraining al 66,4% gebalanceerde nauwkeurigheid en 0,2235 Brier. De training van Valory voegt 0,9 procentpunt toe, en de Brier-fout daalt met 5,0%. De verwachte kalibratiefout (ECE) zakt van 0,1630 naar 0,1429, 12,3% lager.
Daar zit het eigenlijke nieuws. Een kleinere kop-uitslag, maar een model dat zijn zekerheid beter afstemt op wat er daarna gebeurt. GPT-5.6 staat in dezelfde tabel op 0,1307. Wie met een voorspelling iets wil doen, bijvoorbeeld pas ingrijpen bij een kans boven 70%, heeft meer aan een eerlijke kans dan aan een iets hogere score.
66,4% gebalanceerd, Brier 0,2235, ECE 0,1630.
67,3% gebalanceerd, Brier 0,2124, ECE 0,1429.
Reken je eigen voorspellingen uit
Vul tot acht voorspellingen in: de kans die je gaf, en wat er gebeurde. Je ziet je Brier score, hoeveel je goed had en welke miss het duurst was. Twee voorbeelden laten het gat tussen die twee getallen zien. De tool draait in je browser en bewaart niets.
Vul minstens één voorspelling in, of laad een voorbeeld.
Waar het getal van Valory niet over gaat
Het sterkste argument van Valory is ook het zwakste. Volgens Olas lijkt brede feitenkennis niet nodig, want een apart hulpmiddel zoekt het bewijs op en geeft dat door aan het model. Dat klopt, en daarom meet de vergelijking alleen hoe een model met aangeleverd bewijs omgaat. Het zoeken zelf zit er niet in. Een andere zoekketen kan andere scores geven.
Daar komen de bekende grenzen bij. Alle cijfers komen van Valory zelf, en op 12 november vonden we geen herhaling door anderen. Olas schrijft dat het model gequantiseerd op één krachtige consumentenkaart past, zelf hosten kan dus. Gemeten implementatiekosten staan er niet bij; hoe zo’n bestand krimpt, lees je bij een 27B-model in 5,9 GB. En een goede voorspelling is nog geen winst op een markt: prijzen, kosten en uitvoering tellen mee. Het onderscheid tussen kansen en nauwkeurigheid is er niet om een model af te kraken. Het is de reden waarom je allebei moet willen zien, net als bij Kimi K3.1 Pro, waar elke grafiek iets anders meet. Of zelf hosten loont, hangt van je taak af; open source AI naast gesloten modellen rekende dat na voor één contract.
Wat zet je op papier voordat je iets voorspelt?
Schrijf de kans op vóór de uitkomst bekend is. Dat is de enige manier om later eerlijk te kunnen rekenen. Noteer per vraag een getal tussen 0 en 100, en wat er gebeurde. Na twintig of dertig vragen laat je het hierboven narekenen.
Dezelfde gewoonte werkt bij AI. Een chatbot die een gok net zo stellig brengt als een feit, geeft geen kans. Hoe vaak AI het mis heeft beschrijft hoe stellig een model ook fout kan zijn. Meer uitleg in AI in gewone taal staat op de homepage.
Wat daarna telt, is of iemand anders dan Valory dezelfde 6.824 markten of een nieuwe set naast GPT-5.6 legt. Pas dan wordt 1,2 procentpunt een resultaat en niet een mededeling. Tot die tijd is de bruikbare vraag kleiner en scherper: geeft het model eerlijke kansen?
- VoorafKans tussen 0 en 100 opschrijven.
- DaarnaUitkomst noteren, ja of nee.
- Na 20 à 30Brier score laten uitrekenen.
Eerst de kans, dan de uitkomst
Zet je eerste voorspelling op papier en reken hem straks uit.
Naar de rekenwerkbank