Wat je wel en niet kunt meten aan een interne academie

Elke leeromgeving levert cijfers. Hoeveel mensen ingelogd zijn, hoeveel modules gestart en afgerond zijn, hoe lang iemand op een pagina heeft gezeten, welk cijfer er voor de toets is gehaald. Die cijfers zijn accuraat en ze meten vrijwel niets van wat je wilde bereiken. Dat is geen reden om niet te meten, maar wel een reden om te weten wat je in handen hebt.

Wat de leeromgeving je geeft

De gegevens uit het systeem zijn bruikbaar voor precies twee doelen: aantonen dat iets is gedaan en zien waar deelnemers vastlopen.

Het eerste is administratief en het kan belangrijk zijn, bijvoorbeeld bij verplichte instructies of bij een audit. Zie Aantoonbaarheid en registratie.

Het tweede is de meest onderschatte bron van verbetering die je hebt. Als tachtig procent van de deelnemers halverwege dezelfde module stopt, zegt dat iets over die module en niet over de deelnemers. Als iedereen dezelfde toetsvraag fout heeft, is er een gerede kans dat de vraag onduidelijk is of dat de uitleg een stap overslaat. Dit soort signalen kost geen extra meetwerk en levert direct aanwijzingen op voor onderhoud.

Wat de cijfers niet kunnen: aantonen dat iemand het geleerde ook toepast. Een afgeronde module betekent dat iemand tot het einde is gekomen. Meer niet.

Tevredenheid meten heeft beperkte waarde

De evaluatie na afloop, met de vraag hoe nuttig het was, is snel ingevuld en makkelijk te rapporteren. Er zitten twee problemen aan. Mensen beoordelen vooral de vorm en de docent. Ze beoordelen direct na afloop, wanneer nog niemand het in de praktijk heeft geprobeerd.

Dat maakt tevredenheid niet nutteloos. Een module die structureel slecht beoordeeld wordt, heeft een probleem dat je wilt kennen. Maar gebruik het als signaal voor de kwaliteit van het materiaal, niet als bewijs van effect. Stel bovendien vragen waar je iets mee kunt: niet "hoe tevreden ben je", maar "wat ga je morgen anders doen" en "wat miste je". Op die tweede vraag komen de beste aanwijzingen binnen.

Wat wel iets zegt over toepassing

Om te weten of er iets veranderd is op de werkvloer, moet je kijken naar dingen die je toch al registreert. In vrijwel elke organisatie ligt er meer dan mensen denken.

• Meldingen en fouten. Storingsmeldingen, retouren, afkeur, incidentmeldingen, klachten over een specifiek onderwerp.
• Doorlooptijden. Hoe lang een nieuwe medewerker erover doet om zelfstandig te kunnen werken. Dit is bij inwerktrajecten vaak de meest overtuigende maat.
• Herhaalvragen. Hoe vaak leidinggevenden of collega's dezelfde vraag krijgen. Hier hoef je alleen om te vragen, tellen is niet nodig.
• Steekproeven op de werkplek. Iemand kijkt mee bij de handeling en vult een korte lijst in. Bewerkelijk, maar het is het enige dat direct laat zien of het geleerde wordt toegepast.

Al deze maten hebben één probleem gemeen: je weet niet zeker of de verandering door de opleiding komt. Er verandert altijd meer tegelijk. Dat is geen reden om het niet te doen, maar wel een reden om er voorzichtig over te schrijven. Zie Rapporteren over opleiden.

Meet vooraf, anders meet je niets

De meest gemaakte fout is dat er pas na afloop aan meten wordt gedacht. Dan heb je geen vertrekpunt en kun je hooguit zeggen dat het nu op een bepaald niveau is.

Noteer daarom voordat je begint drie dingen: wat het probleem is dat je wilt oplossen, welk cijfer daar nu bij hoort en welk cijfer je over een jaar zou willen zien. Dat mag een grove maat zijn en het mag uit een bestaand systeem komen. Het punt is dat de nulmeting bestaat en dat iedereen weet welke maat is afgesproken. Zonder die afspraak wordt achteraf de maat gekozen die het gunstigst uitkomt. Dat wordt op enig moment doorzien.

Vergelijk met de situatie waar je vandaan komt

Bij zelf opleiden is er één vergelijking die vaak vergeten wordt en die eerlijk is: hoe deed je het hiervoor? Als nieuwe medewerkers vroeger werden ingewerkt door een collega die er tussendoor tijd voor maakte, is dat de referentie. Die manier had ook kosten, was ook wisselend van kwaliteit en werd nooit gemeten.

Die vergelijking maakt je verhaal geloofwaardiger dan een absolute claim. Niet: onze academie levert dit op. Wel: waar het inwerken eerst afhing van wie er die week beschikbaar was, doorloopt iedereen nu dezelfde onderdelen en kunnen we laten zien wie wat heeft gedaan.

Wat je niet moet meten

Sla twee dingen over. Het eerste is een rendementspercentage dat je zelf hebt uitgerekend op basis van aannames over productiviteit. Dat cijfer overleeft de eerste kritische vraag niet en het beschadigt de rest van je rapportage.

Het tweede is alles wat je niet gaat gebruiken. Elke meting kost tijd, van jou en van de mensen die hem invullen. Drie maten die je elk kwartaal echt bespreekt zijn meer waard dan een dashboard met vijftien grafieken waar niemand een besluit op neemt.

Houd het meetplan daarom zo klein dat je het volhoudt. Deelname en afronding komen uit het systeem, één praktijkmaat kies je zelf en één open vraag stel je aan deelnemers. Dat is genoeg om te sturen en het is genoeg om over te rapporteren.