De NOS-Ombudsman en de valkuilen van de statistiek

Als je op een stoel zit die je verplicht kritisch te kijken naar het werk van anderen, moet je niet schromen ook kritisch te kijken naar jezelf als daar aanleiding toe is. En die is er. In de analyse die ik afgelopen woensdag maakte van de NOS-berichtgeving over Rode Kruisvrijwilligers en de bereidheid om te werken met vluchtelingen, toonde zich mijn gebrekkige statistische kennis. Ik verdedigde dat de NOS in een artikel op NOS.nl op basis van een aantal antwoorden uit een Rode-Kruisenquête uitspraken kon doen over de gehele populatie van vrijwilligers. Dat blijkt niet zo’n verdedigbare stap als mij uit de toen beschikbare gegevens leek.

Nu ging mijn analyse van de berichtgeving maar zeer gedeeltelijk over de extrapolatie van die enquêtecijfers, maar toch. Ik vroeg voorafgaand aan publicatie aan enkele statistici wanneer je wel of niet mag extrapoleren. Het zou op basis van de aantallen wel moeten kunnen, was het antwoord. Mits (!) er aan de voorwaarden voor een voldoende aselecte steekproef zou zijn voldaan. Ik had die toevoeging moeten opnemen (want verwijt alstublieft mijn statistici niet dat ik een relevante toevoeging niet opnam) en de representativiteit van de steekproef moeten bekijken. Die blijkt nogal tegen te vallen. Ik had het extrapoleren daarom niet moeten sanctioneren. Wie het boetekleed past, trekt het aan (en neemt nog een extra cursus statistiek).

Maar daarmee is het punt dat 20% van de respondenten op de enquête bezwaren (waaronder principiële) opgeeft om niet met vluchtelingen te werken niet weg. Het onderwerp en het tijdig adresseren van mogelijke problemen blijkt voor het Rode Kruis belangrijk genoeg om er een stappenplan-van-aanpak en een campagne voor te maken. De organisatie omschreef het zelf intern als een “uiterst zorgelijke situatie”. Dát was de kern van het artikel op NOS.nl (en in de radio- en tv-uitzendingen) op basis van interne Rode Kruisstukken. Dat bericht werd door het Rode Kruis op de eigen website eerst als ‘onjuist’ afgedaan, wat vervolgens tegenover de NOS-redacteuren weer werd teruggenomen. Daarover ging grotendeels mijn analyse.

Tot slot dan toch nog een opmerking over die enquête. In een reactie aan de Volkskrant zegt het Rode Kruis (cursivering van De Volkskrant): ‘1293 Vrijwilligers hebben de volledige vragenlijst ingevuld (6,1% respons). Deze groep respondenten vormt een goede afspiegeling van de volledige groep Rode Kruis-vrijwilligers. Vrijwilligers uit alle districten zijn vertegenwoordigd en de verhouding van de diverse functies komt overeen met die van de gehele populatie.’ Het maakt de uitkomsten van de enquête nog steeds niet volgens de regelen der kunst, maar ze maken het Rode Kruis wel bezorgd. Daar is, blijkbaar voor het Rode Kruis, het mogen extrapoleren van de enquête-uitkomsten naar alle vrijwilligers niet eens voor nodig.