De NOS ombudsman en de valkuilen van de statistiek

Als je op een stoel zit die je verplicht kritisch te kijken naar het werk van anderen, moet je niet schromen ook kritisch te kijken naar jezelf als daar aanleiding toe is. En die is er. In de analyse die ik afgelopen woensdag maakte van de NOS-berichtgeving over Rode Kruisvrijwilligers en de bereidheid om te werken met vluchtelingen, toonde zich mijn gebrekkige statistische kennis. Ik verdedigde dat de NOS in een artikel op NOS.nl op basis van een aantal antwoorden uit een Rode Kruisenquête uitspraken kon doen over de gehele populatie van vrijwilligers. Dat blijkt niet zo’n verdedigbare stap als mij uit de toen beschikbare gegevens leek.

Nu ging mijn analyse van de berichtgeving maar zeer gedeeltelijk over de extrapolatie van die enquêtecijfers, maar toch. Ik vroeg voorafgaand aan publicatie aan enkele statistici wanneer je wel of niet mag extrapoleren. Het zou op basis van de aantallen wel moeten kunnen, was het antwoord. Mits (!) er aan de voorwaarden voor een voldoende aselecte steekproef zou zijn voldaan. Ik had die toevoeging moeten opnemen (want verwijt alstublieft mijn statistici niet dat ik een relevante toevoeging niet opnam) en de representativiteit van de steekproef moeten bekijken. Die blijkt nogal tegen te vallen. Ik had het extrapoleren daarom niet moeten sanctioneren. Wie het boetekleed past, trekt het aan (en neemt nog een extra cursus statistiek).

Maar daarmee is het punt dat 20% van de respondenten op de enquête bezwaren (waaronder principiële) opgeeft om niet met vluchtelingen te werken niet weg. Het onderwerp en het tijdig adresseren van mogelijke problemen blijkt voor het Rode Kruis belangrijk genoeg om er een stappenplan-van-aanpak en een campagne voor te maken. De organisatie omschreef het zelf intern als een “uiterst zorgelijke situatie”. Dát was de kern van het artikel op NOS.nl (en in de radio- en tv-uitzendingen) op basis van interne Rode Kruisstukken. Het in het NOS-artikel geschetste beeld werd door het Rode Kruis op de eigen website ‘onwaar’ genoemd. Een van de redacteuren werd later via de voicemail verweten dat de feiten in het NOS-bericht niet klopten, maar dat werd daarna teruggenomen. Daarover ging grotendeels mijn analyse.

Tot slot dan toch nog een opmerking over die enquête. In een reactie aan de Volkskrant zegt het Rode Kruis (cursivering van De Volkskrant): ‘1293 Vrijwilligers hebben de volledige vragenlijst ingevuld (6,1% respons). Deze groep respondenten vormt een goede afspiegeling van de volledige groep Rode Kruis-vrijwilligers. Vrijwilligers uit alle districten zijn vertegenwoordigd en de verhouding van de diverse functies komt overeen met die van de gehele populatie.’ Het maakt de uitkomsten van de enquête nog steeds niet volgens de regelen der kunst, maar ze maken het Rode Kruis wel bezorgd. Daar is, blijkbaar voor het Rode Kruis, het mogen extrapoleren van de enquête-uitkomsten naar alle vrijwilligers niet eens voor nodig.

Reacties

Misschien ook even verwijzen naar de onderbouwde bron van deze kritiek op u https://decorrespondent.nl/3392/Beste-NOS-ombudsman-bij-wie-kunnen-we-over-u-klagen-/275355433408-de102907

Mee eens. Graag verwijs naar decorrespondent op zijn minst

Nee, de Volkskrant was de bron voor de NOS-ombudsvrouw hier. Die waren net zo snel en spraken ook nog eens haar. http://www.volkskrant.nl/wetenschap/duizenden-vrijwilligers-rode-kruis-weigeren-te-helpen-aan-opvang-vluchtelingen~a4201864/

Je hebt geen "extra" cursus statistiek nodig. De uitgangspunten over steekproeftrekking bij onderzoek staan te lezen op pagina 1 van hoofdstuk 1 van elke inleiding. Nodig is te beseffen dat iets boven je pet gaat en je dan het verantwoordelijkheidsgevoel moet hebben van het bericht af te blijven omdat de kans op fouten te groot is. Je hebt niet alleen verantwoordelijkheid jegens de bron, maar ook jegens ontvangers. Sorry.

Plaats een reactie