Evaluatie MeMoQ Monitoring Instrument

Wat is het?

De Parlementaire onderzoekscommissie naar de veiligheid in de kinderopvang publiceerde in juli 2022 haar eindrapport met 75 aanbevelingen. Een van die aanbevelingen betreft de evaluatie van het MeMoQ monitoringinstrument:

“Er komt op korte termijn een evaluatie van MeMoQ om na te gaan of deze in functie van inspecties moet worden bijgestuurd. Zo kan worden onderzocht op welke manier dit instrument het beste wordt ingezet en kan men de beperkingen van het instrument in kaart brengen zodat men daaraan kan tegemoetkomen. Daarnaast wordt bepaald welke de impact is van de scores van MeMoQ, in het bijzonder op het vlak van welbevinden, op de handhaving bij klachten met betrekking tot inbreuken op de fysieke en psychische integriteit van kinderen.”

Om deze aanbeveling op te volgen werd door Zorginspectie en Opgroeien een onderzoek toegekend aan een samenwerkingsverband van UGent en KULeuven.

Hoe verliep het onderzoek?

De Vakgroep Sociaal Werk en Sociale Pedagogiek van de UGent deed een kwantitatieve analyse van het monitoring instrument op basis van een databestand over de inspectiebezoeken in de periode tussen juni 2017 en september 2022. Een deel van de data had dus betrekking op de periode voor de inwerkingtreding van de pedagogische norm. Data werden aangeleverd door Zorginspectie. Het ging in totaal om gegevens over 1524 inspectiebezoeken waarbij 5 dimensies werden geobserveerd en over 581 bezoeken waar de 6de dimensie werd gescoord. 

In de analyse werden meerdere zaken nagegaan:

• of de dimensies en clusters en indicatoren binnen de dimensies wel voldoende discrimineerden
• wat de impact was van scores negativiteit en klimaat op de totale scores 
• hoe scores op negativiteit en klimaat meer zouden kunnen doorwegen
• wat de relatie was tussen voorkomen van bepaalde scores en adviezen handhaving

Het Expertisecentrum Ervaringsgericht Onderwijs KU Leuven (CEGO) maakte een kwalitatieve analyse van de procesverslagen van het intervisietraject voor de inspecteurs van de voorbije jaren, aangevuld met informatie uit focusgroep-gesprekken met inspecteurs die specifiek in kader van het onderzoek werden georganiseerd. In de loop van het onderzoek werden ook een aantal voorstellen die naar boven kwamen tijdens de kwalitatieve analyse uitgetest in de praktijk, ondersteund en geëvalueerd onder begeleiding van CEGO.

Resultaten in een notendop

De evaluatie toont aan dat de structuur van het instrument wat de eerste 5 dimensies betreft (Welbevinden, Betrokkenheid, Emotionele Ondersteuning, Educatieve Ondersteuning en Omgeving) robuust is en voldoet aan alle technische vereisten. De factoranalyse toont dat de dimensies Emotionele Ondersteuning, Educatieve Ondersteuning en Omgeving als factoren wel degelijk door de cijfers worden bevestigd. De interne coherentie van elk van deze dimensies is goed en de spreiding van de scores op zowel de dimensies als de indicatoren is voldoende. Bovendien zijn de resultaten gelijklopend met de resultaten uit de MeMoQ nulmeting van 2016, wat bevestigt dat beiden hetzelfde meten. 

De inspecteurs zijn het er ook over eens dat het instrument voldoet. Ze getuigen dat het hen goed toelaat om de pedagogische kwaliteit te observeren en te beoordelen en dat het een verbetering is tegenover vroegere instrumenten.

Een uitzondering is de zesde dimensie “Omgaan met gezinnen en diversiteit”. Daar is de spreiding een heel stuk lager omdat de grote meerderheid van de beoordelingen een score 3 of 4 kent. Deze score gebeurt op basis van een gesprek, dat wellicht onderhevig is aan sociaal wenselijke antwoorden.

Uit de kwantitatieve analyse voor de eerste 5 dimensies leerden we dat de grote meerderheid (77,5%) van de afnames door Zorginspectie geen scores 1 kent, dat 1,6% minstens 2 scores 1 kent en dat het heel weinig voorkomt dat een locatie op minstens 3 dimensies een score 1 haalt. Aangezien Zorginspectie vaak op inspectie gaat naar aanleiding van concrete klachten, mogen deze cijfers niet beschouwd worden als oordelen die representatief zijn voor de hele sector. Daarvoor moet gekeken worden naar de resultaten van metingen met het wetenschappelijk instrument.

De onderzoekers gingen ook na wat de relatie is tussen lage scores op één of meerdere dimensies en het advies tot handhaving:

• Voor elk van de dimensies afzonderlijk lijkt er een verband te zijn tussen de score en de kans op een advies op handhaving, maar het verband is niet altijd significant. Het verband is er wel voor de dimensies Welbevinden, Omgeving en Emotionele Ondersteuning. Voor Emotionele Ondersteuning is het verband het sterkst. 
• Naarmate er meer dimensies een score 1 kennen, is de kans op een advies handhaving duidelijk hoger.

Bij de interpretatie van deze bevindingen mag wel niet vergeten worden dat:

• er  géén 1 op 1 relatie ingesteld is tussen scores op het MeMoQ monitoringsinstrument en het advies van Zorginspectie, al is er uiteraard een link omdat Zorginspectie werkt met een wegingsinstrument waarin het geheel van bevindingen (waaronder de MeMoQ scores) gescoord wordt. 
• de pedagogische norm stelt dat onvoldoende scores moeten opgevolgd worden, niet dat er directe link moet zijn tussen adviezen handhaving. De opvolging van scores 1 gebeurt door Opgroeien.

Aanbevelingen

De onderzoekers adviseren over (de afname van) het monitoringsinstrument om: 

• dimensie 6 niet meer op te nemen in het inspectiebezoek met het MeMoQ monitoringinstrument en het dus niet meer als een 6de dimensie van dit instrument te gebruiken, maar de inhoud ervan eerder te integreren in het toezicht op andere aspecten van de regelgeving zoals het wennen, de ouderparticipatie, discriminatie en dergelijke tijdens de inspectiebezoeken.
• het observatieschema aan te passen waarbij wordt ingegrepen in de volgorde van de geobserveerde dimensies en de duurtijd van observatierondes voor de dimensies emotionele en educatieve ondersteuning. Ze stellen ook een extra observatieronde voor deze twee dimensies voor, waardoor scores meer genuanceerd worden, aangezien ze op deze manier vanuit meer data worden opgebouwd.
• de scores per dimensie niet af te ronden, maar een cijfer na de komma weer te geven. 
• in het verslag meer ruimte te voorzien voor verschillen tussen kinderbegeleiders en verschillen in de aanpak van kinderen van verschillende leeftijd
• de indicatoren Negativiteit en Klimaat een grotere invloed te geven op de eindscore voor respectievelijk de dimensie Emotionele ondersteuning en Omgeving. In concreto adviseren ze om een negatieve score van -1 te geven met het oog op het bepalen van de eindscore voor elk van deze dimensies bij meermaals voorkomen van negativiteit, bij het voorkomen van ernstige negativiteit of bij constante negatieve invloed van klimaat.

Op vlak van de pedagogische norm adviseren de onderzoekers om te reflecteren over de bestaande norm en om te bespreken welke scores of combinatie van scores tot welke vorm van handhaving leiden (tenzij gemotiveerde uitzonderingen). Ze stellen dat het niet aan de onderzoekers is om te bepalen wat dient te veranderen aan die pedagogische norm, maar ze geven wel enkele elementen mee om te overwegen bij deze discussie:

• Elke score 1 is duidelijk onvoldoende en zou best nauw opgevolgd worden.
• Een score 2 kan niet als goed beschouwd worden en bij elke score 2 zou locatie opgevolgd moeten worden om een verbetertraject te starten.
• Een combinatie van meerdere scores 2 zou best ook nauw opgevolgd worden.