Evalueer jouw GenAI-systeem doordacht
Veel kmo’s met een innovatieve mindset laten zich door FOMO verleiden tot impulsieve aankopen van generatieve AI-tools zoals ChatGPT Business of Copilot for Microsoft 365, zonder grondige evaluatie. De zogenaamde open-ended output van systemen gebaseerd op Large Language Models maakt beoordeling extra complex: effectiviteit hangt sterk af van taak, context en toepassing. Toch blijft de huidige aanpak vaak beperkt tot een oppervlakkige vibe check, wat leidt tot verkeerde conclusies en gemiste kansen.
In dit onderzoeksproject ontwikkelden we een evaluatiekader dat kmo’s helpt om GenAI-systemen systematisch en genuanceerd te beoordelen. Door outputs te toetsen aan specifieke taken, verwachtingen en voorbeeldantwoorden, krijgen bedrijven een duidelijker beeld van sterktes en zwaktes — zodat ze beter geïnformeerde beslissingen nemen, investeringen optimaliseren en hun vertrouwen in de technologie versterken.
We bieden jullie dit evaluatiekader graag aan, maar eerst overlopen we een aantal essentiële uitgangspunten.
Evaluatie gebeurt in verschillende fases.
We verdelen de evaluatie in deze drie fases omdat elke fase gekenmerkt wordt door specifieke vragen en bezorgdheden.
Tijdens de geïsoleerde pre-evaluatie bereid je je voor om de beste tool of het beste model te kiezen voor hetgeen je voor ogen hebt.
Het GenAI-systeem wordt daarna effectief tijdens de ingebruikname geëvalueerd.
Op basis van die evaluaties onderneem je acties om het systeem te verbeteren, om vervolgens de evaluatie iteratief te hernemen.
Niet iedereen evalueert GenAI-systemen vanuit hetzelfde perspectief.
Er zijn bepaalde zaken die specifiek relevant zijn voor ontwikkelaars of technische profielen en andere zaken die essentieel zijn voor eindgebruikers van de GenAI-systemen. Uiteraard ontmoeten die aspecten elkaar en gebeurt de evaluatie door ontwikkelaars in tandem met die van eindgebruikers. Wanneer eindgebruikers gewoon een systeem aankopen waarover ze niet echt zeggenschap hebben (bv. Microsoft Copilot, ChatGPT, …), valt het luik voor de ontwikkelaars weg en kan gekeken worden naar enkel het luik voor de eindgebruiker.
Niet iedereen speelt dezelfde rol in de evaluatie van een GenAI-systeem. Er zijn namelijk bepaalde zaken die specifiek relevant zijn voor ontwikkelaars of technische profielen, terwijl andere zaken essentieel zijn voor niet-technische eindgebruikers van de GenAI-systemen. Uiteraard ontmoeten die aspecten elkaar en gebeurt de evaluatie door ontwikkelaars in tandem met die van eindgebruikers. Wanneer eindgebruikers echter een systeem aankopen waarover ze geen echt zeggenschap hebben (bv. Microsoft Copilot, ChatGPT…), valt het luik voor de ontwikkelaars weg en moet er op vlak van evaluatie enkel gekeken worden naar het luik voor de eindgebruiker.
GenAI-systemen zijn nog steeds gewoon softwareproducten.
GenAI-systemen hebben specifieke eigenschappen, maar uiteindelijk blijven het nog altijd gewoon softwareproducten die een probleem van een eindgebruiker oplossen. Dus veel evaluatietechnieken die traditioneel al worden gebruikt om software te beoordelen (User Acceptance Testing, A/B Testing, klassieke enquêtes, focusgroepen, …) blijven relevant.
Een GenAI-systeem is niet altijd de oplossing.
Dit evaluatieframework richt zich expliciet op de fase waarin de keuze voor het uittesten of gebruiken van een GenAI-systeem reeds is gemaakt. Strategische overwegingen zoals het identificeren van het onderliggende bedrijfsprobleem, het bepalen of GenAI de meest geschikte oplossingsrichting is, en het afwegen van alternatieve technologieën vallen buiten de scope van dit kader. Hoewel deze vragen essentieel zijn binnen een bredere innovatie- en investeringsstrategie, positioneert dit framework zich pas nadien: het ondersteunt organisaties bij het onderbouwd selecteren, inzetten en bijsturen van GenAI-systemen, met oog voor gebruikskwaliteit, toepassingswaarde en optimalisatie binnen de gekozen context.
Aan de slag! Je kan het document hieronder downloaden en ermee aan de slag gaan. Ook hebben we een template klaargezet voor een Miro-bord dat je kan ondersteunen bij het maken van bepaalde keuzes.
Methodologieën
Design thinking technieken
- A/B-testing
- Baseline meting
- Design thinking
- Desk research
- Feedbackanalyse
- Focusgroepen
- Functionele analyse
- Like/dislike
- LLM-as-a-judge
- Nulmeting
- Piloottesten
- Prioritering
- Ranking
- SMART
- User Acceptance Testing
- 5x Why
- Dot voting
- Hoe kunnen we…?
- Think out loud
- Wereldcafé