10 juli 2026 · bijgewerkt 3 oktober 2026
Modelgedrag · geverifieerd 9 juli 2026
ChatGPT ging vaker over goblins praten omdat een beloningssignaal voor de speelse persoonlijkheid Nerdy antwoorden met metaforen over fantasiewezens onbedoeld hoger waardeerde. Die stijltic bleef niet netjes binnen Nerdy: via leren met beloningen en opnieuw gebruikte modeloutput verspreidde het patroon zich naar ander modelgedrag.

Een enkele “config goblin” in een technisch antwoord is grappig. Honderden vergelijkbare metaforen over meerdere modelgeneraties zijn een onderzoekssignaal. OpenAI beschreef op 29 april 2026 hoe een ogenschijnlijk onschuldige woordgrap uitgroeide tot een meetbare eigenaardigheid in GPT-5.1, GPT-5.4 en vroege GPT-5.5-tests.
De cijfers maakten het patroon zichtbaar
Na GPT-5.1 nam het gebruik van het woord goblin in ChatGPT-antwoorden volgens OpenAI met 175% toe. Gremlin steeg met 52%. De echte aanwijzing zat niet alleen in de groei, maar in de verdeling.
OpenAI vergeleek vervolgens antwoorden op dezelfde taken met en zonder woorden als goblin en gremlin. In 76,2% van de geaudite datasets gaf het beloningssignaal voor Nerdy de versie met zo’n metafoor een positievere score.
Hoe één stijlgrap een trainingslus werd
De systeeminstructie voor Nerdy vroeg om een speelse, uitgesproken en licht eigenzinnige mentor. Dat verklaart waarom fantasierijke taal daar paste, maar nog niet waarom dezelfde woorden ook zonder die persoonlijkheid opdoken.
Reinforcement learning garandeert niet dat aangeleerd gedrag beperkt blijft tot de situatie waarin de beloning werd gegeven. OpenAI zag dat de relatieve stijging in creature-woorden vrijwel gelijk opliep in samples mét en zonder de Nerdy-prompt. Dat was het bewijs voor stijloverdracht.
Een zoekactie in de data voor begeleide afstemming (supervised fine-tuning, SFT) van GPT-5.5 vond daarna veel voorbeelden met dezelfde woorden. De audit leverde ook een bredere verzameling opvallende termen op: wasberen, trollen, ogers en duiven werden eveneens als tics aangemerkt. Kikkers bleken meestal gewoon over echte kikkers te gaan.


Hoe OpenAI de goblins terugdrong
OpenAI faseerde Nerdy medio maart uit na de lancering van GPT-5.4. Het team verwijderde het beloningssignaal dat deze woordkeus bevoordeelde en filterde trainingsdata waarin zulke woorden onnodig voorkwamen. Daardoor werd de kans kleiner dat de tic in nieuwe modellen opnieuw werd versterkt.
De training van GPT-5.5 was al begonnen voordat de hoofdoorzaak bekend was. Toen medewerkers de voorliefde in Codex-tests opnieuw zagen, voegde OpenAI daarom ook een developer-instructie toe om het gedrag te beperken.
Die tijdlijn laat zien waarom een modelprobleem niet altijd met één promptregel of één datasetwijziging is opgelost. Als een gedragskenmerk al door meerdere trainingsfasen is gegaan, moet je zowel de beloning, de data als de productinstructies controleren.
Waarom dit meer is dan een leuke anekdote
Een taalmodel heeft geen verborgen voorkeur voor fantasyfiguren. Het produceert patronen die tijdens training voordeel kregen. Het interessante is hoe klein zo’n voordeel kan beginnen en hoe breed het daarna kan generaliseren.
Voor modelmakers is dit een auditprobleem: welke beloning duwt gedrag een onverwachte kant op, waar komt modelgegenereerde data opnieuw de pijplijn in en blijft de correctie ook buiten de oorspronkelijke testconditie werken? Voor gebruikers is de les eenvoudiger: een charmante schrijfstijl is geen bewijs van begrip, en een terugkerende woordgrap kan iets zeggen over training zonder dat de feitelijke kwaliteit meteen slecht is.
Zo onderzoek je zelf een vreemde modeltic
- Test dezelfde vraag in een nieuwe chat, zonder aangepaste persoonlijkheid of oude context.
- Vergelijk meerdere modelversies en noteer wanneer het patroon wel en niet verschijnt.
- Tel het gedrag over een taakset; baseer geen conclusie op één grappig antwoord.
- Scheid stijl van inhoud: controleer apart of feiten, bronnen en acties nog kloppen.
- Bewaar reproduceerbare voorbeelden en rapporteer de exacte instellingen en prompt.
Bron en claimgrenzen
De cijfers, tijdlijn en causaliteitsanalyse komen uit OpenAI’s publicatie Waar de goblins vandaan komen van 29 april 2026. OpenAI baseert de conclusie op eigen productiegegevens, beloningsaudits en trainingsdata. Eén losse metafoor bewijst niet dat hetzelfde mechanisme speelt; de kracht van deze case zit in de combinatie van concentratie, beloningsbias en overdracht buiten de Nerdy-conditie.