AI hallucinaties: waarom AI soms vol overtuiging dingen verzint

Omdat een taalmodel tekst voorspelt, en niet opzoekt. Het heeft geen database met feiten waarin het iets naslaat. Het schrijft woord voor woord het meest waarschijnlijke vervolg, op basis van de enorme hoeveelheid tekst waarmee het is getraind. Meestal levert dat een goed antwoord op. Maar waarschijnlijk is niet hetzelfde als waar.

Dat geldt voor ChatGPT, Copilot, Claude en elk ander taalmodel. Vraag je naar iets wat vaak voorkwam in de teksten waarmee het model is getraind, dan is het waarschijnlijke antwoord meestal ook het juiste. Vraag je naar iets zeldzaams, specifieks of recents, dan heeft het model weinig houvast. Het schrijft dan nog steeds een vloeiend antwoord, want dat is wat het doet. Alleen vult het de gaten op met wat er aannemelijk uitziet.

Drie dingen maken het erger:

• Het model kent jullie niet. Jullie levertijden, prijzen, klanten en afspraken staan niet in zijn trainingsdata. Vraag je ernaar zonder het mee te geven, dan gokt het.
• Het wil behulpzaam zijn. Een model is erop gemaakt om een bruikbaar antwoord te geven. 'Dat weet ik niet' komt er minder makkelijk uit dan je zou willen, tenzij je er expliciet om vraagt.
• Het gaat mee met je vraag. Vraag je 'waarom is A beter dan B?', dan krijg je redenen waarom A beter is, ook als dat niet zo is.

Ook een AI-tool die op internet of in je documenten zoekt, kan nog hallucineren. Hij kan een bron verkeerd lezen, twee bronnen door elkaar halen of het gat tussen twee passages zelf invullen. Zoeken verkleint het risico, het haalt het niet weg.

Het risico is het grootst bij precieze feiten die je niet zelf hebt aangeleverd: cijfers, bronnen en citaten, juridische en medische details, en namen, functies en data. Bij herschrijven, ordenen en samenvatten van tekst die je zelf meegeeft, is het risico veel kleiner. Niet nul, wel kleiner.

Hoog risico

• Cijfers en statistieken. Marktcijfers, percentages, bedragen, aantallen. Het klinkt precies, en is vaak verzonnen.
• Bronnen en citaten. Titels van rapporten, links, uitspraken van mensen. Controleer altijd of de bron bestaat en of het er echt staat.
• Juridische details. Wetsartikelen, termijnen, uitspraken. Een verkeerd artikelnummer ziet er net zo goed uit als het juiste.
• Medische details. Doseringen, bijwerkingen, richtlijnen. Hier hoort AI hooguit voorwerk te doen voor een deskundige.
• Namen, functies en data. Wie is de directeur, wanneer is iets opgericht, welke functie heeft iemand.
• Alles over jullie eigen bedrijf. Als je het niet meegeeft, weet het model het niet.
• Rekenwerk. Een taalmodel is geen rekenmachine. Laat sommen maken door Excel of je systeem, of laat de AI een formule schrijven in plaats van een uitkomst.

Lager risico

• Een tekst die je zelf schreef korter, duidelijker of formeler maken
• Een mail opzetten op basis van de feiten die je meegeeft
• Ideeën bedenken, structuur aanbrengen, een opzet maken
• Een document samenvatten dat je meegeeft (controleer wel de getallen en namen)

De vuistregel: gebruik AI om te schrijven, ordenen en samenvatten wat jij aanlevert. Haal feiten uit je eigen bronnen en systemen.

Helemaal voorkomen kan niet. Wel kun je het risico zo klein maken dat AI bruikbaar is voor echt werk. Vijf dingen helpen het meest: geef de bron mee, vraag om bronnen en check ze, maak de taak klein, geef toestemming om 'weet ik niet' te zeggen, en laat een mens controleren.

1. Geef de bron mee

Laat het model niet uit zijn geheugen antwoorden, maar uit jullie eigen documenten. Plak de tekst in de prompt, zet de documenten in een eigen assistent, of laat een systeem eerst de juiste passages opzoeken. Dat laatste heet RAG: de AI zoekt eerst in jullie documenten en antwoordt pas daarna, met de bron erbij. Zo kijk je elk antwoord in tien seconden na.

2. Vraag om bronnen, en check ze

Vraag bij elk feit waar het vandaan komt: 'noem bij elk punt de passage of de pagina waarop je het baseert'. Klik daarna echt door. Bestaat de bron niet, of staat het er niet, dan weet je genoeg. Een bron die je niet opent, is geen controle.

3. Maak de taak kleiner en afgebakend

Niet 'schrijf een marktanalyse', maar 'vat deze drie rapporten samen in vijf punten, alleen op basis van deze tekst'. Hoe kleiner en duidelijker de taak, hoe minder ruimte om te gaan invullen. Knip grote klussen op in stappen, en controleer per stap.

4. Geef toestemming om 'weet ik niet' te zeggen

Zet het letterlijk in je prompt: 'Staat het antwoord niet in de tekst hieronder, zeg dat dan en verzin niets.' Een AI die eerlijk zegt dat hij het niet weet, is veel meer waard dan een die gokt. Hoe je zo'n opdracht goed opbouwt, lees je in prompten: zo schrijf je een goede prompt.

5. Laat een mens controleren

Alles wat naar een klant gaat of in een systeem belandt, kijkt een mens eerst na. Dat heet human in the loop: de AI doet het werk, een medewerker controleert. Met de bron erbij kost dat seconden, geen minuten.

Nog een handige truc: stel dezelfde vraag in een nieuw gesprek, of vraag 'op welke zin baseer je dit?'. Verandert het antwoord, of komt er geen duidelijke zin terug, dan is het oppassen.

Aan details die je niet hebt aangeleverd en die je niet kunt terugvinden. Een hallucinatie ziet er hetzelfde uit als een goed antwoord, dus aan de toon herken je hem niet. Wel aan een paar signalen:

• Heel precieze details uit het niets. Een paginanummer, een percentage met een cijfer achter de komma, een exacte datum die jij niet noemde.
• Een bron die je niet kunt vinden. De titel klinkt logisch, maar de link werkt niet of leidt naar iets anders.
• Een perfect citaat. Echte mensen formuleren zelden zo netjes als het citaat dat de AI ze in de mond legt.
• Het antwoord verandert. Stel dezelfde vraag opnieuw en je krijgt een ander jaartal of een ander bedrag.
• Het geeft je te snel gelijk. Zeg 'volgens mij klopt dat niet' en het model draait om, ook als het eerste antwoord goed was. Dan wist het het waarschijnlijk niet.

Twijfel je, behandel het dan als een tip, niet als een feit. Zoek het op in een bron die je vertrouwt.

In een chat lees je het antwoord zelf, en zie je een vreemd cijfer meestal wel. In een bedrijfsproces is dat anders. Daar landt de output van de AI in je ERP, in een offerte of bij een klant, vaak zonder dat iemand het eerst leest. Een verzonnen orderregel is dan een verkeerde levering. Een verzonnen voorwaarde in een klantmail is een belofte die je moet nakomen.

Daarom bouwen we elk proces zo dat een mens keurt voordat er iets de deur uit gaat of definitief wordt weggeschreven. En we bouwen controles in de workflow zelf:

• Een vaste vorm. De AI vult velden in, en schrijft geen vrije tekst waar dat niet nodig is.
• Checks tegen je systemen. Bestaat dit ordernummer? Hoort dit artikel bij deze klant? Klopt het totaal met de som van de regels?
• De bron erbij. Bij elk antwoord de passage waarop het is gebaseerd, zodat de controle snel gaat.
• Uitzonderingen naar een mens. Twijfelt de AI, ontbreekt er informatie of gaat het om een hoog bedrag, dan gaat het naar een medewerker.

Zo werkt het ook bij een enterprise-klant van ons: bij 80 procent van de 6.000 klantvragen per maand staat er een voorbereid antwoord klaar voordat het ticket opengaat, tegen 30 procent eerst. Een medewerker controleert en verstuurt, altijd. Bij KplusV beoordeelt AI pitch decks langs het eigen canvas en zoekt passende financiers, en checkt een consultant altijd het resultaat.

In onze rekensommen zie je dat terug: we rekenen nooit met 100 procent besparing, maar met maximaal 90 procent per stap, omdat controle en uitzonderingen blijven. Hoe je die controle licht houdt, lees je in human in the loop: AI met een mens die goedkeurt.

Met een paar vaste afspraken, en door het te oefenen op eigen werk. Verbieden helpt zelden: dan gebruiken mensen AI vaak alsnog, alleen zonder afspraken. Beter is dat iedereen weet waar AI goed in is, waar het misgaat en wie verantwoordelijk is voor wat er verstuurd wordt.

Afspraken die in een goed AI-beleid thuishoren:

• AI schrijft, ordent en vat samen. Feiten haal je uit je eigen bronnen.
• Wat naar buiten gaat, leest een mens eerst. Wie iets verstuurt, staat ervoor. De AI niet.
• Een bron die je noemt, heb je zelf geopend.
• Cijfers, namen en juridische details controleer je altijd.

Het snelst leer je het door het te zien gebeuren, op je eigen werk. In een workshop van een dagdeel laten we zien wanneer AI de mist in gaat en hoe je dat voorkomt, met jullie eigen mails en documenten. Dat kost € 4.500 per dagdeel, bij jullie op locatie, exclusief btw.