Steekproeven: Effectief toezicht met beperkte middelen
- Arjen Goedegebure
- 11 jul
- 6 minuten om te lezen
Waarom steekproeven een belangrijk hulpmiddel zijn voor toezichthouders
Als toezichthouder binnen de Wmo en Jeugdwet sta je vaak voor de uitdaging: je wilt zorgvuldig onderzoek doen, maar het aantal dossiers is simpelweg te groot. Alles controleren is niet haalbaar, en vaak ook niet proportioneel.
Een steekproef kan uitkomst bieden om met minder werk toch verantwoorde uitspraken te doen over de rechtmatigheid, doelmatigheid of kwaliteit van zorg.
BasisBeeld heeft voor verschillende onderzoeken binnen de Wmo en Jeugdwet ondersteund in het uitvoeren van een steekproef. In deze blog delen we onze ervaringen en kennis.
Verschillende opties voor een steekproef
Het doel van de steekproef is een belangrijke factor om te bepalen hoe je de steekproef precies uitvoert. Een volledig onderzoek van alle dossiers is vaak niet proportioneel; daarnaast wil je de beschikbare capaciteit slim inzetten.
Er zijn grofweg twee manieren om een steekproef op te zetten:
1. Aselecte en representatieve steekproef
Bij deze methode selecteer je dossiers volledig willekeurig uit de gehele populatie. Je controleert dus ook dossiers waarvan je geen aanleiding hebt om te denken dat er iets mis is.
Voordelen:
De uitkomsten zijn statistisch onderbouwd waardoor je weet welke zekerheid je krijgt met de gekozen steekproef.
De steekproef geeft een basis waardoor je bevindingen kunt extrapoleren naar de hele populatie (bijvoorbeeld: “X% van de dossiers bevat een bepaalde fout”).
Nadelen:
Wanneer fouten zelden voorkomen, moet je een grote steekproef nemen om ze betrouwbaar te kunnen aantonen. In sommige gevallen moet je hierdoor bijna alle dossiers controleren, waardoor een steekproef nog maar weinig voordeel biedt.
2. Gerichte steekproef op basis van meldingen, klachten of signalen
Bij deze aanpak gebruik je beschikbare informatie (zoals signalen van cliënten, klachten, opvallende declaraties of risico-indicatoren) om gericht een selectie te maken.
Voordelen:
Je richt je onderzoek op de plekken waar de kans op fouten of misstanden het grootst is.
Vaak vind je sneller relevante bevindingen die aanleiding geven tot verder onderzoek.
Nadelen:
De steekproef is niet representatief voor de gehele populatie. Je kunt de uitkomsten niet generaliseren; je kunt dus niet stellen dat “X% van alle dossiers fout is”.
De gerichte steekproef kan wel aanleiding zijn om alsnog een aselecte steekproef te doen of een volledige controle.
Standaard aanpak voor steekproeven
In de praktijk zien we vaak een aanpak die het beste van twee werelden combineert. Deze aanpak maximaliseert de kans om risico's met beperkte inzet van capaciteit te identificeren en biedt tegelijkertijd de mogelijkheid om onderbouwde uitspraken te doen.
Start met gericht onderzoek
Begin je onderzoek met een gerichte steekproef. Gebruik hierbij alle beschikbare informatie en signalen: denk aan meldingen, klachten, opvallende declaraties, eerdere bevindingen of specifieke risico-indicatoren. Deze eerste stap is erop gericht om potentiële knelpunten snel te identificeren en de plekken te vinden waar de kans op fouten het grootst is. Dit helpt je om je initiële focus te bepalen.
Aselecte en representatieve steekproef gericht op specifieke fouten
Na de gerichte steekproef heb je waarschijnlijk een beter beeld van de soorten fouten of onregelmatigheden die voorkomen. Gebruik deze kennis om de focus van je aselecte en representatieve steekproef te bepalen. In plaats van alle mogelijke aspecten in elk dossier te controleren (wat vaak te veel werk is), concentreer je je op de specifieke fouttypen die uit de gerichte steekproef naar voren kwamen. Dit maakt de aselecte steekproef efficiënter, terwijl je nog steeds statistisch geldige uitspraken kunt doen over de frequentie van deze specifieke fouten in de gehele populatie.
Volledige controle of inschatting van schade op basis van gevonden fouten
Volledige controle: Als de aselecte steekproef een significant aantal fouten van een bepaald type aantoont, kan dit aanleiding zijn om alle dossiers die mogelijk deze fout bevatten, volledig te controleren. Dit is met name relevant bij ernstige of frequente misstanden.
Schade-inschatting: Wanneer de fouten leiden tot financiële consequenties of afbreuk doen aan de kwaliteit van zorg, kun je de gevonden foutpercentages extrapoleren om een inschatting te maken van de totale financiële schade of de omvang van de kwaliteitsgebreken binnen de gehele populatie. Dit biedt een onderbouwde basis voor vervolgstappen of handhaving.
Documenteer je aanpak!
Voor welke steekproef en aanpak je ook kiest: leg de steekproefsystematiek altijd goed vast. Dat maakt je onderzoek:
Herhaalbaar & uitlegbaar
Onderbouwen van proportionaliteit richting college en raad
Efficiënt beantwoorden van WOO-verzoeken
Berekeningen en formules
Berekening van de steekproefgrootte
Voor een aselecte en representatieve steekproef hangt de grootte van de steekproef af van twee factoren:
1. Zekerheidspercentage
Dit percentage bepaalt hoeveel vertrouwen je hebt in je conclusie. In toezicht is 95% gebruikelijk – je wilt dan 95% zeker weten dat je conclusie klopt.
2. Foutpercentage
Dit is het percentage fouten dat je verwacht aan te treffen als je alle dossiers controleert. Bijvoorbeeld: je verwacht bij 10% van de dossiers dat er onregelmatigheden zijn binnen de declaraties.
Door middel van de steekproef wil je zekerheid dat je geen fout vindt. Gegeven 300 dossiers dan kun je op basis van het foutpercentage berekenen hoeveel dossiers je moet controleren. In de tabel hieronder zie je het effect van het foutpercentage op het aantal dossiers dat je moet controleren:
Om een gevoel te krijgen bij het effect van de steekproefgrootte hebben we de volgende tabel die laat zien hoe het zekerheidspercentage verandert ten opzichte van de steekproefgrootte:
Steekproef berekening
Je schat in dat 10% van de dossiers onregelmatigheden bevatten en je wilt 95% zekerheid dat je minstens één fout vindt. Dan bereken* je op de volgende manier de benodigde steekproef en kom je op 29 dossiers.
Als de kans op een fout per dossier p=0.10 is, dan is de kans dat een dossier geen fout bevat 1 − p =0.90.
Als je n dossiers controleert, en je vindt in allemaal geen fout, dan is de kans daarop:
De kans op minstens één fout is dan:
*Om de formules te berekenen kun je bijvoorbeeld de wiskundige rekenmachine van WolframAlpha gebruiken.
Het aantal fouten
In de berekening gaan we ervan uit dat het vinden van één fout voldoende is maar afhankelijk van de soort fout wil je mogelijk een groter aantal fouten terugzien in de steekproef.
Eén ontbrekende VOG kan al voldoende zijn voor een stevige bevinding.
Het structureel afwijken van urenplanningen vraagt om meerdere gevallen om tot een onderbouwde uitspraak te komen.
Je gebruikt dan de formule:
Kleinere populaties
Voor de oplettende statisticus: door de populatiegrootte gaan we hier uit van een binomiale benadering. Je ziet dat het aantal dossiers geen variabele is in de formule omdat de binomiale verdeling uit gaat van een voldoende grote populatie. Als de cliëntpopulatie een stuk kleiner wordt of de steekproef significant groter dan is het beter om een andere benadering te kiezen. Bijvoorbeeld een hypergeometrisch verdeling kan een uitkomst bieden. Helaas gaat dit te ver voor deze blog en heb je bij een kleine populatie en/of uitgebreide steekproef weinig winst ten opzichte van een volledige controle.
Foutpercentage & betrouwbaarheidsintervallen
Na het doen van de steekproef kan het zijn dat het foutpercentage in je steekproef veel hoger of lager is dan je verwachte foutpercentage (bijvoorbeeld je dacht 10%, maar je vindt 25% of juist 2%). Dit is geen probleem, want het gevonden foutpercentage in de steekproef kun je gebruiken om een schatting te maken van het werkelijke foutpercentage.
Het gaat te ver voor deze blog om de berekening uit te leggen maar gegeven 300 dossiers krijg je met de volgende tabel een idee van wat de steekproef zegt over de gehele populatie. In de tabel zie je hoeveel fouten zijn gevonden met behulp van een bepaalde steekproef en wat dat zegt over het werkelijke aantal fouten binnen alle dossiers.
Tot slot
Steekproeven zijn geen doel op zich, maar een krachtig hulpmiddel om met beperkte middelen toch gericht en proportioneel toezicht te houden. Door vooraf goed na te denken over het doel, de systematiek en de interpretatie van je steekproef, kun je met relatief weinig dossiers toch gegronde en verdedigbare uitspraken doen.
Of je nu kiest voor een aselecte steekproef of een gerichte selectie op basis van signalen: zorg altijd voor een transparante aanpak en heldere documentatie. Zo vergroot je niet alleen de kwaliteit van je onderzoek, maar ook het vertrouwen in toezicht.
Heb je vragen of wil je aan de slag met steekproeven? Neem dan contact met ons op – we denken graag met je mee!
Opmerkingen