3 augustus 2026 · bijgewerkt 24 oktober 2026
Een token is een verwerkingseenheid van een taalmodel. Het kan een heel woord zijn, een woorddeel of een leesteken. Het aantal hangt af van de tekst én van de tokenizer; woorden tellen is geen tokenmeting.
Wat is een token?
De tokenizer verdeelt tekst in eenheden die bij het model passen. Er bestaat geen vaste Nederlandse omrekenfactor. Laat voor een werkelijke telling de exacte tekst verwerken door de tokenizer van het gekozen model.
| Invoer | Wat kun je vaststellen? |
|---|---|
| Een woord of zin | Geen vast tokenaantal zonder tokenizer. |
| Een document | Tel de werkelijk verwerkte tekst met de gekozen tokenizer. |
| Een chatverzoek | Ook systeeminstructies en toolgegevens kunnen meetellen. |
Waarom tokens de prijs bepalen
Bij sommige API’s tellen invoer- en uitvoertokens mee in de rekening. Een chatabonnement kan een vast bedrag en andere gebruikslimieten hebben. Het gekozen model, verwerkingstype en tarief bepalen hoe een telling wordt afgerekend. Een woordenaantal alleen bewijst daarom geen prijs.
Het “contextvenster”
Het contextvenster begrenst hoeveel tokens het model per verwerking kan meenemen. De app kan een te lange invoer weigeren, inkorten of samenvatten. Welke aanpak wordt gebruikt, hangt van de app af. Controleer daarom of het document of het eerdere gesprek werkelijk is meegenomen.
Houd noodzakelijke context bij je vraag
- Houd prompts gericht: onnodige tekst kost tokens.
- Bij lange documenten: knip op in delen of vraag om een samenvatting.
- Test de uitvoer met dezelfde taak voordat je modellen op prijs vergelijkt.
Een woordtelling is geen kostenberekening
| Wat is bekend? | Wat heb je nog nodig? |
|---|---|
| 500 woorden invoer | De werkelijke invoertelling met de gekozen tokenizer. |
| 100 woorden uitvoer | De werkelijke uitvoertelling met die tokenizer. |
| Een modelnaam | Het toepasselijke tarief en verwerkingstype. |
| Een gesprek | De werkelijk aangeboden context, inclusief eventuele systeeminstructies en toolgegevens. |
Tokens en talen
Tokenizers hebben verschillende woordenlijsten en splitsingsregels. Daardoor kan dezelfde inhoud in een andere taal een ander aantal tokens gebruiken. Dat bewijst niet dat Engels bij ieder model goedkoper of sneller is. Vergelijk de echte invoer met de juiste tokenizer en controleer de kwaliteit van beide antwoorden.
Controleer welk documentdeel is meegenomen
Vraag bij een lang document om verwijzingen naar passages en controleer die in het origineel. Een correct klinkende samenvatting bewijst niet dat elk deel is verwerkt. Verwijder noodzakelijke context niet alleen om de invoer korter te maken.
Verder met model, prompt en workflow
Bij AI-begrippen kies je een werksituatie en zie je welke controle daarbij hoort. Een token beschrijft een verwerkingseenheid; het zegt op zichzelf niets over de juistheid van een antwoord.
Bron: Hugging Face, Transformers-documentatie over tokenization, geraadpleegd 24 oktober 2026. Deze pagina rapporteert geen eigen tokentelling.
Veelgestelde vragen
Hoeveel woorden is een token?
Waarom ‘vergeet’ een chatbot dingen?
Betaal ik per token?
Meer techniek in gewone taal: large language models · hoe werkt AI?