Kwaliteit van Werkmeter
Een meetinstrument kan je beoordelen aan de hand van twee kwaliteiten:
- Kan je er betrouwbaar mee meten?
- Kan je er het juiste concept mee meten?
Stel dat je wilt weten hoe groot je bent. Een meetlat die krimpt en uitzet bij koude of warmte zal dan erg onbetrouwbaar zijn. Als je volgens je meetlat van dag op dag centimeters groter of kleiner bent, dan kan je op basis van dat instrument geen geloofwaardige uitspraken doen over je lengte. Een weegschaal die correct gekalibreerd is en elke dag het juiste gewicht toont, is wél betrouwbaar; maar die meet dan weer niet het concept waarin je geïnteresseerd bent, namelijk je lengte. Zowel de temperatuurgevoelige meetlat als de weegschaal zijn dus geen geschikte instrumenten als je wilt weten hoe groot je bent. Bij het ontwikkelen van instrumenten zijn we daarom steeds op zoek naar een betrouwbaar en valide instrument.
Hoe goed scoort Werkmeter?
Voor de doorontwikkeling van Werkmeter doorheen onze onderzoeksprojecten hebben we ons steeds gebaseerd op de kwaliteit van onze meetschalen. Het onderzoeksproject "IAO in de woonzorgsector" gaf ons de ideale gelegenheid om de kwaliteit van onze meetlat verder te onderzoeken.
Voor dit project bevraagden we namelijk een kleine 1700 medewerkers uit Vlaamse woonzorgcentra met de meest recente versie van Werkmeter. Voor elke medewerker kenden we de unieke functie die hij of zij uitoefent. Dat ging van zorg- en verpleegkundigen, over kinesisten, ergotherapeuten en animatoren, tot keuken- en poetsmedewerkers en zelfs stafmedewerkers en directie. Deze populatie is uitermate geschikt om statistische testen op te doen om twee redenen:
- alle medewerkers werken in dezelfde sector, in min of meer gelijkaardige organisaties en met gelijkaardige processen;
- de zorgsector is sterk gereguleerd waardoor de functies erg verschillen in de toegestane taken die zij mogen opnemen.
Onze onderzoeksvraag: Slaagt Werkmeter er in om zinvolle uitspraken te doen over deze functies aan de hand van de antwoorden van de functie-uitvoerders?
Is Werkmeter betrouwbaar?
Hoe goed pikt Werkmeter de verschillen in jobinhoud op tussen verpleegkundigen en zorgkundigen? Hiervoor gebruiken we de maatstaf interrater reliability. Uit deze maatstaf blijkt dat, gemiddeld gezien, de antwoorden van medewerkers uit verschillende functies 10 keer meer verschillen dan de antwoorden van medewerkers uit dezelfde functie.
In onze dataset hadden we bijna 300 verpleegkundigen, naast bijna 600 zorgkundigen. Uit de resultaten bleek dat een antwoord van één bepaalde zorgkundige 10 keer dichter zat bij het antwoord van een andere zorgkundige dan bij het antwoord van een verpleegkundige. Dit is een indicatie dat Werkmeter betrouwbare schalen bezit. Als je namelijk honderden verschillende zorgkundigen gaat bevragen, dan kan je er zeker van zijn dat hun antwoorden steeds dicht bij elkaar zullen liggen.
Meet Werkmeter de juiste concepten?
Werkmeter toont de resultaten binnen drie dimensies: kennis, informatie en planning. Zijn de resultaten van kennisautonomie wel verschillend van informatie-autonomie? Of zien we een verschil tussen de planningstaakeis en de informatie-taakeis? Opnieuw kunnen we dit statistisch bevestigen. We zien namelijk dat de verschillende jobkenmerken niet sterk gecorreleerd zijn met elkaar, maar elk verschillende aspecten van de takenpakketten oppikken. Zo varieert de off-diagonal correlation (een maatstaf voor discriminant validity) van de jobkenmerken van 0,14 (voor planningsbeslissings-autonomie) tot 0,25 (voor informatie-taakeis).
Kan Werkmeter jobs op een realistische manier
onderscheiden van elkaar?
Onze laatste test is wat we een eyeball test noemen. We groeperen de antwoorden van de medewerkers over hun jobkenmerken per functie en plotten deze gemiddelde antwoorden per functie naast elkaar. Zo kunnen we zien of profielen van de functies die we daarmee bekomen ook overeenkomen met onze praktijkkennis over deze functies.
De figuur hieronder toont op de x-as de overkoepelde taakeis (een soort gewogen gemiddelde van de verschillende taakeisen op vlak van kennis, informatie en planning) en de overkoepelende autonomie per functie.
- Aan de kant van lage taakeisen en lage autonomie vinden we de keuken en logistieke medewerkers.
- Ook met lage taakeisen, maar met meer autonomie, vinden we de poetsmedewerkers, die door de aard van hun taken hun job zelfstandiger kunnen uitvoeren.
- Als we de twee voornaamste zorgfuncties vergelijken (zorgkundigen en verpleegkundigen), dan zien we dat de langer opgeleide verpleegkundigen meer taakeisen en meer autonomie rapporteren dan de korter opgeleide zorgkundigen.
- In de zorgondersteunende functies ervaren kinesisten de hoogste autonomie, animatoren de minste, met ergotherapeuten er tussenin.
- Tenslotte vinden we de staffuncties, leidinggevende functies en directies rechtsboven met veel taakeisen en veel autonomie.
De resultaten die we in deze figuur zien, bevestigen wat we in de praktijk weten over de functies. Dat geeft ons veel vertrouwen dat Werkmeter in staat is om ook nieuwe en onbekende functies goed te beoordelen aan de hand van de jobkenmerken op taakniveau.
De theorie achter Werkmeter
Wil je je graag verdiepen in de theorie en statistiek achter Werkmeter?
Onze onderzoekers Laura Nurski en Seth Maenen schreven er een wetenschappelijk artikel over.
Werkmeter in de praktijk
De ultieme test van onze meetlat is natuurlijk of je op basis van de metingen zinvolle aanbevelingen kan doen naar job-, team- en organisatieontwerp. Daarover kan je meer lezen in de voorbeeldcase van Industrie nv.
