Human in the loop: AI met een mens die goedkeurt

AI is geen alles-of-niets. Tussen 'de mens doet alles' en 'de AI doet alles' zitten twee rollen, en daar landen de meeste taken. Welke rol past, hangt af van hoe geschikt de taak is voor AI en van drie vragen: is creativiteit de kern, is fysieke aanwezigheid nodig, en draagt een mens persoonlijke of juridische aansprakelijkheid?

1. Mens

De mens doet het werk, AI blijft weg. Dat geldt als de taak weinig geschikt is voor AI, of als creativiteit of fysieke aanwezigheid de kern is. Een gesprek met een boze klant, een monteur bij een storing, het bedenken van een nieuwe campagne.

2. AI helpt

De mens doet het werk en beslist, AI levert voorwerk: een eerste opzet, een samenvatting, iets opzoeken. Dit is de rol bij persoonlijke of juridische aansprakelijkheid. Denk aan een adviesrapport waar de expert zijn naam onder zet, of het besluit om een sollicitant af te wijzen. AI mag de brief opstellen, het besluit blijft bij een mens.

3. Mens keurt goed

AI doet het werk, een mens controleert voordat het naar buiten gaat. Dit is human in the loop, en de rol van de meeste taken die AI kan overnemen. Klantvragen beantwoorden, offertes opzetten, productteksten schrijven, aanvragen verwerken.

4. Volledig AI

AI doet het zelf, een mens kijkt steekproefsgewijs mee en bewaakt het achteraf. Alleen als de taak zeer geschikt is voor AI en er geen creativiteit, fysieke aanwezigheid of aansprakelijkheid in het spel is. Denk aan facturen met een vaste vorm inlezen en boeken, met een controle op het inkoopordernummer.

In de APO-methode volgt de rol per processtap uit een AI-fit check van zeven vragen, plus deze drie. Probeer het hieronder zelf met de rollenmeter, of doe de check voor een taak uit je eigen werk op de pagina over de APO-methode.

Meestal op een van drie manieren: de AI zet een concept klaar dat een mens leest en verstuurt, de AI handelt het gewone werk af en stuurt uitzonderingen naar een mens, of de AI werkt zelfstandig en een mens controleert steekproeven. Vaak combineer je ze, en schuif je op naarmate het vertrouwen groeit.

Concept klaarzetten, mens verstuurt

De AI leest de vraag, zoekt de klant en de order op en zet een antwoord klaar in de helpdesk of als concept in de mailbox. De medewerker leest het, past een zin aan als dat nodig is en drukt op versturen. In je ERP werkt het net zo: een conceptorder of conceptboeking die pas definitief wordt als iemand hem doorzet.

Dit is de standaard om mee te beginnen. Niets gaat naar buiten zonder dat een mens het heeft gezien, en je leert snel waar de AI goed in is en waar niet.

Uitzonderingen naar een mens

De AI handelt het gewone werk af of zet het klaar, en stuurt alles wat afwijkt naar een mens. Je legt vooraf vast wat een uitzondering is:

• de AI twijfelt, of mist informatie
• het bedrag ligt boven een drempel
• de klant is boos, of wil opzeggen
• het is een soort vraag die de AI nog niet eerder zag
• het gaat over een klacht, schade of iets juridisch

Zo besteedt de medewerker zijn tijd aan de gevallen waar hij echt het verschil maakt.

Steekproeven

Voor taken die de AI zelfstandig doet, kijkt een mens regelmatig een steekproef na. In het begin veel, later minder, zolang het goed gaat. Vindt de controleur een fout, dan gaat de steekproef weer omhoog en wordt de instructie aangepast.

En bij een AI-agent?

Bij een AI-agent die zelf stappen zet in je systemen, leg je per actie vast wat hij zelf mag en waarvoor hij een akkoord nodig heeft. Opzoeken mag hij zelf. Een concept klaarzetten ook. Iets versturen, wijzigen of betalen gaat langs een mens. Hoe een agent werkt, lees je in wat is een AI agent?

Door de controle net zo zorgvuldig te ontwerpen als de AI zelf. Duurt nakijken net zo lang als het werk zelf doen, dan heb je niets gewonnen. Goed ontworpen kost goedkeuren seconden per geval: alles staat op één scherm, de bron staat erbij, en de AI zegt zelf waar hij twijfelt.

Zo doe je dat:

• Alles op één scherm. De oorspronkelijke vraag, het concept en de gegevens waarop het is gebaseerd. Niemand hoeft drie systemen te openen om te zien of het klopt.
• De bron erbij. Bij een antwoord de passage uit het beleid, bij een order de regels uit de pdf. Controleren wordt aanwijzen in plaats van zoeken.
• Markeer wat afwijkt. Laat de AI aangeven waar hij twijfelt of wat anders is dan normaal, zoals een nieuw artikel of een afwijkend bedrag. Dan weet de controleur waar hij moet kijken.
• Eén klik. Goedkeuren, aanpassen en afwijzen in het scherm waar de medewerker toch al werkt, zoals de helpdesk of de mailbox. Geen extra tool.
• Bundel het werk. Een rij concepten achter elkaar nakijken gaat sneller dan steeds tussendoor schakelen.
• Leer van aanpassingen. Houd bij wat er wordt aangepast en waarom. Komt dezelfde correctie vaak terug, pas dan de instructie aan. Dan hoeft niemand het morgen weer te verbeteren.

Let wel op blind goedkeuren. Lijkt alles altijd goed, dan gaat iemand op den duur 'ok, ok, ok' klikken. Wissel de controle daarom af, laat af en toe een tweede persoon meekijken en kijk in je logboek hoe lang een goedkeuring duurt. Twee seconden voor een offerte is geen controle meer.

Als vier dingen tegelijk kloppen: de taak is zeer geschikt voor AI, er is geen creativiteit, fysieke aanwezigheid of aansprakelijkheid in het spel, een fout is goedkoop te herstellen, en je hebt al laten zien dat het goed gaat. Dan mag de AI het zelf doen, met controles in de workflow, bewaking achteraf en steekproeven.

Kenmerken van een taak die volledig door AI kan:

• Een vaste vorm en een stabiel patroon. Elke keer hetzelfde soort input, hetzelfde soort output.
• Veel voorbeelden van goed werk. Zodat je kunt testen en meten hoe vaak het goed gaat.
• Een korte redeneerketen. Een paar stappen, geen lange afweging.
• Een fout valt op en is goedkoop te herstellen. Bijvoorbeeld omdat er een controle tegen een ander systeem in zit.
• Geen uitleg nodig. Niemand hoeft achteraf juridisch of inhoudelijk te verantwoorden waarom het zo ging.

Een goed voorbeeld is het inlezen en boeken van facturen met een vaste vorm, met een automatische controle op het inkoopordernummer. Of het sorteren en labelen van inkomende mail voor intern gebruik. Geen goede kandidaten: alles wat zonder controle bij een klant landt en gevolgen heeft, besluiten over mensen, en geld boven een drempel.

Ook bij volledig AI blijft er een mens betrokken, alleen niet bij elk geval. Iemand bewaakt de cijfers, kijkt steekproeven na en is eigenaar. Daarom rekenen we in de APO-methode nooit met 100 procent besparing, maar met maximaal 90 procent per stap.

Begin streng en geef ruimte op basis van cijfers, niet op gevoel. Zo bouw je vertrouwen op, bij jezelf en bij het team.

1. 01Start met 'mens keurt goed' voor alles. Elk concept wordt nagekeken.
2. 02Meet hoe vaak het ongewijzigd wordt goedgekeurd. Per soort taak of vraag, niet in één getal voor alles.
3. 03Verbeter de instructies op basis van wat er wordt aangepast.
4. 04Geef ruimte per categorie. Gaat een soort vraag weken achter elkaar goed en is een fout goedkoop, dan kan die naar steekproeven. De rest blijft bij de mens.
5. 05Houd de weg terug open. Verandert er iets, zoals een nieuw model, nieuw beleid of een nieuwe productlijn, ga dan voor die categorie terug naar 'mens keurt goed' tot de cijfers weer kloppen.

Zo neem je ook het team mee. Medewerkers die zelf zien hoe vaak de AI het goed doet, en die mee mogen bepalen wanneer iets minder controle nodig heeft, werken mee in plaats van eromheen.

Omdat AI fouten maakt, en een fout die een mens op tijd ziet niets kost. Een taalmodel kan overtuigend iets verzinnen, lees maar AI hallucinaties. In een chat zie je dat zelf. In een proces belandt het bij een klant of in je administratie, tenzij er iemand tussen zit.

Veilig inzetten is meer dan alleen een mens in de lus. Dit regelen we bij elk proces:

• Een mens in de lus, met duidelijke afspraken over wie wat goedkeurt
• De kleinste rechten in je systemen: de AI mag alleen wat nodig is
• Een logboek van wat de AI deed en wie het goedkeurde
• Data in de EU, op jullie eigen infrastructuur of bij een Europese aanbieder, en een werkwijze volgens ISO 27001 en NEN 7510 (de certificering is in voorbereiding)
• Geen lock-in: code, data en documentatie zijn van jullie

En de wet? Of menselijk toezicht verplicht is, hangt af van de toepassing. Voor sommige toepassingen, zoals AI bij werving en selectie, stelt de AI Act eisen aan menselijk toezicht. Lees de AI Act voor het mkb en AI-geletterdheid; bij twijfel heeft een jurist het laatste woord.

We bouwen agents en workflows alleen binnen het AI Partnership, vanaf € 4.500 per maand, na de AI Quick Scan van € 6.000. In die Quick Scan bepalen we per processtap welke rol mens en AI krijgen. Alle bedragen zijn exclusief btw. Hoe dat in de klantenservice uitpakt, lees je bij AI in de klantenservice.