---
title: "Brier score: wie voorspelt echt beter?"
date: 2026-11-12
author: "Daan Koster"
featured_image: "https://watisai.nl/wp-content/uploads/2026/11/brier-score-voorspelling-olas-predict.jpg"
categories:
  - name: "AI nieuws"
    url: "/category/ai-nieuws.md"
---

# Brier score: wie voorspelt echt beter?

**67,3% / 68,5%**gebalanceerde nauwkeurigheid Olas tegen GPT-5.6, een verschil van 1,2 procentpunt (Valory)

**0,2124 / 0,2029**Brier score Olas tegen GPT-5.6; lager is beter

**6.824**voorspellingsmarkten in Valory’s eigen vergelijking





Een voorspeller kan vaker gelijk hebben dan een ander en toch slechtere kansen geven. In de tabel die Valory bij zijn nieuwe model publiceerde, staat daar een voorbeeld van. De historische GPT-4.1-basislijn heeft 58,5% gebalanceerde nauwkeurigheid, en een Brier score van 0,3110. Wie bij elke vraag gewoon 50% zegt, scoort 0,25. Dat is beter.

Valory meldde op 11 november 2026 dat Olas-Predict-Qwen3.8-27B, een model met open gewichten, op 67,3% gebalanceerde nauwkeurigheid komt. GPT-5.6 haalt in dezelfde vergelijking 68,5%. Die 1,2 procentpunt zegt hoe vaak het model de goede kant koos. De Brier score meet iets anders: hoe goed de kansen waren. Dat vertelt een ander verhaal.



**GPT-4.1-basislijn**58,5% gebalanceerd goed, Brier 0,3110

**Altijd 50% zeggen**Brier 0,2500, elke keer

**Uitkomst**Vaker gelijk, toch slechtere kansen



Cijfers uit de tabel op de Olas-blog, 11 november 2026. De 0,2500 is een rekenregel, geen meting.

## Brier score: wat meet 0,2124 eigenlijk?

Per voorspelling neem je het verschil tussen de kans en de uitkomst, en je kwadrateert dat. De uitkomst is 1 als het gebeurde en 0 als het niet gebeurde. Daarna neem je het gemiddelde. Zegt een model 90% en gebeurt het niet, dan is de fout (0,9 − 0)² = 0,81. Gebeurt het wel, dan is het (0,9 − 1)² = 0,01.

Lager is dus beter, en overmoedige missers kosten het meest. Zegt een model elke keer 50%, dan is de fout altijd (0,5 − 1)² of (0,5 − 0)², en dat is steeds 0,25. Dat is de lat voor niets weten. De [Brier score op Wikipedia](https://en.wikipedia.org/wiki/Brier_score) legt dezelfde formule uit.



**90%, gebeurt**(0,9 − 1)² = 0,01

**90%, gebeurt niet**(0,9 − 0)² = 0,81

**50%, wat er ook gebeurt**0,25



Eén voorspelling, drie fouten. De Brier score is het gemiddelde.

## Wat zegt de tabel van Valory?

Valory rapporteert vijf systemen op 6.824 voorspellingsmarkten waar onderzoek naar kan worden gedaan. Bij gebalanceerde nauwkeurigheid telt elke uitkomstklasse, ja en nee, even zwaar mee. De systemen kregen dezelfde prompts en hetzelfde bewijs, bij temperatuur nul. Het datumfilter volgt de kennisgrens van GPT-5.6, 16 februari 2026. Het verschil tussen Olas (0,2124) en GPT-5.6 (0,2029) is 0,0095. Bron: de aankondiging op de Olas-blog van 11 november 2026, met de volledige tabel onderaan. Unite.AI (11 november 2026) gaf dezelfde cijfers in het Nederlands.

De Brier score van de GPT-4.1-basislijn ligt boven de 0,25 van de muntworp. De tabel zegt zelf dat dit die specifieke basislijn is, geen nieuwe score voor GPT-4.1. Het laat wel zien dat nauwkeurigheid en kansen twee metingen zijn.



Brier score per systeem, lager is beterSysteemBrierHistorische GPT-4.1-basislijn0,3110Olas-Predict-R1-14B0,2722Altijd 50% zeggen (rekenregel)0,2500Qwen3.8-27B vóór domeintraining0,2235Olas-Predict-Qwen3.8-27B0,2124GPT-5.6 als vergelijkingsmodel0,2029Balken lopen van 0 tot 0,40. Bron: Valory, via de Olas-blog van 11 november 2026.

## Hoeveel van de winst komt van het model zelf?

Het grootste deel komt van het basismodel. Qwen3.8-27B haalt zonder domeintraining al 66,4% gebalanceerde nauwkeurigheid en 0,2235 Brier. De training van Valory voegt 0,9 procentpunt toe, en de Brier-fout daalt met 5,0%. De verwachte kalibratiefout (ECE) zakt van 0,1630 naar 0,1429, 12,3% lager.

Daar zit het eigenlijke nieuws. Een kleinere kop-uitslag, maar een model dat zijn zekerheid beter afstemt op wat er daarna gebeurt. GPT-5.6 staat in dezelfde tabel op 0,1307. Wie met een voorspelling iets wil doen, bijvoorbeeld pas ingrijpen bij een kans boven 70%, heeft meer aan een eerlijke kans dan aan een iets hogere score.



**Basismodel Qwen3.8-27B**66,4% gebalanceerd, Brier 0,2235, ECE 0,1630.



**Na training door Valory**67,3% gebalanceerd, Brier 0,2124, ECE 0,1429.





Dezelfde 6.824 markten. Bron: Valory, 11 november 2026.

## Reken je eigen voorspellingen uit

Vul tot acht voorspellingen in: de kans die je gaf, en wat er gebeurde. Je ziet je Brier score, hoeveel je goed had en welke miss het duurst was. Twee voorbeelden laten het gat tussen die twee getallen zien. De tool draait in je browser en bewaart niets.

Brier-rekenwerkbank · rekent in je browser

Voorbeeld: stellig, en twee keer ernaastVoorbeeld: voorzichtig en bijna goedLeegmaken

Jouw voorspellingen\#Kans dat het gebeurt (%)Gebeurde het?

1kiesJaNee

2kiesJaNee

3kiesJaNee

4kiesJaNee

5kiesJaNee

6kiesJaNee

7kiesJaNee

8kiesJaNee

Bereken mijn Brier scoreVul minstens één voorspelling in, of laad een voorbeeld.



Deze rekenhulp heeft JavaScript nodig. De formule staat hierboven: gemiddelde van (kans − uitkomst)².









## Waar het getal van Valory niet over gaat

Het sterkste argument van Valory is ook het zwakste. Volgens Olas lijkt brede feitenkennis niet nodig, want een apart hulpmiddel zoekt het bewijs op en geeft dat door aan het model. Dat klopt, en daarom meet de vergelijking alleen hoe een model met aangeleverd bewijs omgaat. Het zoeken zelf zit er niet in. Een andere zoekketen kan andere scores geven.

Daar komen de bekende grenzen bij. Alle cijfers komen van Valory zelf, en op 12 november vonden we geen herhaling door anderen. Olas schrijft dat het model gequantiseerd op één krachtige consumentenkaart past, zelf hosten kan dus. Gemeten implementatiekosten staan er niet bij; hoe zo’n bestand krimpt, lees je bij [een 27B-model in 5,9 GB](https://watisai.nl/27b-ai-model-5-9-gb/). En een goede voorspelling is nog geen winst op een markt: prijzen, kosten en uitvoering tellen mee. Het onderscheid tussen kansen en nauwkeurigheid is er niet om een model af te kraken. Het is de reden waarom je allebei moet willen zien, net als bij [Kimi K3.1 Pro](https://watisai.nl/kimi-ai-k3-1-pro-benchmarks/), waar elke grafiek iets anders meet. Of zelf hosten loont, hangt van je taak af; [open source AI naast gesloten modellen](https://watisai.nl/open-source-vs-gesloten-ai/) rekende dat na voor één contract.



**Wel gemeten**Kansen op aangeleverd bewijs, 6.824 markten

**Niet gemeten**Zelf bewijs zoeken, kosten, winst op een markt



Wat de Olas-vergelijking dekt, volgens de aankondiging.

## Wat zet je op papier voordat je iets voorspelt?

Schrijf de kans op vóór de uitkomst bekend is. Dat is de enige manier om later eerlijk te kunnen rekenen. Noteer per vraag een getal tussen 0 en 100, en wat er gebeurde. Na twintig of dertig vragen laat je het hierboven narekenen.

Dezelfde gewoonte werkt bij AI. Een chatbot die een gok net zo stellig brengt als een feit, geeft geen kans. [Hoe vaak AI het mis heeft](https://watisai.nl/hoe-vaak-heeft-ai-het-mis/) beschrijft hoe stellig een model ook fout kan zijn. Meer uitleg in [AI in gewone taal](https://watisai.nl/) staat op de homepage.

Wat daarna telt, is of iemand anders dan Valory dezelfde 6.824 markten of een nieuwe set naast GPT-5.6 legt. Pas dan wordt 1,2 procentpunt een resultaat en niet een mededeling. Tot die tijd is de bruikbare vraag kleiner en scherper: geeft het model eerlijke kansen?



1. **Vooraf**Kans tussen 0 en 100 opschrijven.
2. **Daarna**Uitkomst noteren, ja of nee.
3. **Na 20 à 30**Brier score laten uitrekenen.

Het ritme dat de rekenwerkbank hierboven gebruikt.

## Eerst de kans, dan de uitkomst

Zet je eerste voorspelling op papier en reken hem straks uit.

[Naar de rekenwerkbank](#rekenwerkbank)