De PVV gaat momenteel ruim aan kop in de peilingen. Maar partijleider Geert Wilders weet van eerdere verkiezingen dat de virtuele winnaar in de peilingen niet de uiteindelijke winnaar hoeft te zijn. Hoe komt het dat peilingen geen garantie bieden voor de daadwerkelijke uitslag? 

Na het optreden van premier Mark Rutte op het Correspondents’ Dinner in februari zagen we de VVD vijf zetels stijgen in de peilingen van Maurice de Hond. Daarmee zijn ze op dat moment de op een na grootste partij. Dus wanneer één Rutte grappig doet, stijgt meteen het vertrouwen in de gehele partij. Toch is het onwaarschijnlijk dat het Correspondents’ Dinner nog steeds invloed heeft op de verkiezingen in 2017.

In Nederland zijn vijf instanties die politieke peilingen uitvoeren: De Stemming, (van EenVandaag), Ipsos (Politieke barometer), I&O Research, Peil.nl (van Maurice de Hond) en TNS NIPO. Deze gebruiken verschillende onderzoeksmethoden om een representatief beeld te geven van de politieke voorkeuren in Nederland. Peilers maken voornamelijk gebruik van publiekspanels. Daarmee hebben ze een vaste groep respondenten en dat bespaart tijd en geld. Het belangrijkste voordeel is dat de respons op enquêtes bij panels hoger is. Daardoor zijn opiniepeilers in staat om snel actuele onderwerpen te onderzoeken. Toch zijn er ook valkuilen.


Representatief panel

Een van die valkuilen zit hem in het samenstellen van de panels. In zijn boek ‘Wat 93,7 procent van de Nederlanders moet weten over opiniepeilingen’ schrijft Wil Tiemeijer dat opiniepeilers bij het samenstellen van panels twee keuzes hebben. De eerste en makkelijkste manier om een panel te vormen is iedereen toelaten die toe wil treden. Een zelfregulerend panel. Dit gebeurt bijvoorbeeld bij Peil.nl. Het gevaar is hier dat er veel onder- of oververtegenwoordigde publieksgroepen zijn. Een van de risico’s aan deze manier is dat belangengroepen zich massaal aanmelden bij een panel om zo de peilingsuitslag te beïnvloeden.

Jelke Bethlehem is hoogleraar in de survey-methodologie. Hij vertelt dat de meeste peilers kiezen voor zelfselecterende web-panels omdat dit snel en goedkoop is. Dit levert volgens hem geen valide uitkomsten op. Hij verwijst naar het zogeheten ‘herding’ bij de Engelse parlementsverkiezingen in mei 2015 en het Oekraïne-referendum.

De tweede die Tiemeijer in zijn boek noemt is het zelf benaderen van publieksgroepen, een aselecte steekproef. De peilers zorgen ervoor dat de respondenten een eerlijke afspiegeling vormen van de werkelijkheid. Dat wil zeggen dat bijvoorbeeld het percentage studenten in een panel ongeveer gelijk moet zijn aan het percentage studenten in heel Nederland. Het is de bedoeling dat onder- of oververtegenwoordiging op deze manier wordt voorkomen. Omdat er met duidelijke publieksgroepen gewerkt wordt, kun je deze ook eenvoudig bereiken. Is er een tekort aan hbo-studenten? Dan worden er uitnodigingen gestuurd naar hbo-opleidingen. Toch slagen peilers er niet in om alle publieksgroepen te vullen. Zo is er nog altijd een tekort aan niet-westerse deelnemers. Maar er is een oplossing voor onder- en oververtegenwoordiging: de weging.


Schermafbeelding 2016-04-05 om 21.28.55 Schermafbeelding 2016-04-05 om 21.29.08


Weging

Jelke Bethlehem geeft aan dat wanneer een peiling door onder- of oververtegenwoordiging niet representatief is, deze peiling alsnog representatief gemaakt kan worden door “weging”. Groepen die ondervertegenwoordigd zijn tellen zwaarder mee dan groepen die oververtegenwoordigd zijn. Het werkelijke percentage in de samenleving wordt gedeeld door het percentage van het panel. Deze uitkomsten worden opgeteld in plaats van het daadwerkelijke aantal personen in het panel.

Schermafbeelding 2016-04-05 om 21.31.42 Schermafbeelding 2016-04-05 om 21.31.55

Een weging kan volgens Joop van Holsteyn,  bijzonder hoogleraar kiezersonderzoek, alleen plaatsvinden bij groepen die duidelijk te onderscheiden zijn. Denk aan geslacht, leeftijd, afkomst en geloof. Wanneer de over- of ondervertegenwoordiging te groot is, is een weging niet meer mogelijk. Dan is het panel gewoon niet representatief.

Tiemeijer stelt in zijn boek dat er gestreefd moet worden naar 95 procent representativiteit. De panels bij de grote peilers in Nederland zijn volgens hem vaak in orde, maar er zijn groepen die niet overeenkomen met de werkelijkheid. Zo zat Ipsos er met hun peilingen voor de gemeenteraadsverkiezingen flink naast bij het CDA. Ipsos gaf aan dat er 500 zetels ingeleverd zouden worden, maar het bleek allemaal wel mee te vallen. Als reactie gaf Ipsos aan dat de oudere CDA-kiezers ondervertegenwoordigd zijn in hun internetpanel. Zij zouden zich minder snel aanmelden voor dit soort panels.

Ook niet-stemmers zijn ondervertegenwoordigd. Dit is logisch te verklaren, want wanneer een persoon geen interesse heeft in politiek, gaat deze persoon ook niet snel een politieke peiling invullen.
De samenstelling van panels is dus belangrijk voor de uitkomst. Doordat peilers op verschillende manieren te werk gaan, krijgen ze soms ook verschillende uitslagen voor dezelfde onderzoeken.


Verschillen

Begin maart 2016 komen de peilinguitslagen van Peil.nl, IPSOS en I&O Research rond dezelfde tijd naar buiten. Wat meteen opvalt zijn de grote verschillen tussen de uitslagen van de peilers. Vooral uitslagen van de PvdA, PVV en GroenLinks komen niet overeen. De laatstgenoemde partij krijgt bij Peil.nl zelfs het dubbele aantal zetels van de uitslag van Ipsos.

Peilinguitslagen

Volgens Jelke Bethlehem kun je na deze uitslagen stellen dat de steekproeven van deze peilers niet representatief zijn. De behandelde peilers maken gebruik van een eigen web-panel. Op zijn eigen website peilingpraktijken.nl legt Bethlehem uit wat de verschillen tussen deze peilers zijn.

Schermafbeelding 2016-04-05 om 21.34.23

Voor alle drie de panels geldt volgens Bethlehem dat de opbouw van de panels te vaag is om te voldoen aan de American Association of Public Opinion Research (AAPOR) Code of Ethics, waarin staat dat peilers tot in detail moeten beschrijven op welke manier mensen zich aansluiten.

Bethlehem: “Het belangrijkste probleem is in mijn ogen dat er geen nette, aselecte steekproeven getrokken worden. Daarom zijn steekproeven niet representatief en de uitkomsten onjuist. De meeste peilers werken met zelfselectie, omdat dit snel en goedkoop is, maar het levert geen valide uitkomsten op.”

Kritiek 

Journalist Steven van Aartrijk schrijft voor de politieke nieuwssite Frontbencher. Daar worden alle peilingen van verschillende peilers naast elkaar getoond en vergeleken. Op die manier kun je eenvoudig zien dat er regelmatig uiteenlopende uitkomsten zijn. Volgens hem komt dit doordat er sprake is van een statistische foutmarge en alle peilers hebben een eigen manier om te peilen.

 Van Aartrijk verwijst ons naar een bericht van oktober 2015 in de Volkskrant waarin kenners de kwaliteit van bepaalde peilingen ondermaats noemen. Hij benoemt de uitspraak van politicoloog Tom van der Meer in het bijzonder: ‘Opiniepeilers moeten erkennen dat ze nooit echt in kaart kunnen brengen wat de bevolking precies vindt.’

Volkskrant-journalist Magreet Vermeulen schrijft in oktober 2015 dat politici ‘peilingen in het politieke debat tot waarheid verheffen’ en dat de media deze werkelijkheid vergroot door betrokkenen met de cijfers te confronteren.

 Van Aartrijk legt ons ook een artikel voor van een aantal dagen later. Peter Kanne, opiniepeiler van I&O research, reageert hier op het vorige artikel. Kanne schrijft: ‘Je hebt vijf grote peilers: Ipsos, GFK, TNS Nipo, I&O Research en Peil.nl van Maurice de Hond. De eerste vier werken transparant en leveren degelijk onderzoek af. Maurice de Hond weet heel goed hoe politiek werkt, maar zijn onderzoeken zijn minder transparant.’

Kanne stelt in dit artikel dat je de mening van de bevolking nooit precies in kaart kunt brengen, want als dat wel zo was waren er ook geen verkiezingen meer nodig.

Sturende vraagstelling

 De vraagstelling kan de uitkomst van een opiniepeiling beïnvloeden door bewust of onbewust sturend te zijn. De volgorde van de vragen kan ook een andere uitkomst opleveren. Will Tiemeijer beschrijft dit in zijn boek. Voorbeeld: Wanneer de eerste vraag in een enquête is: ‘Wat zijn volgens u de grootste voordelen van lid zijn van de Europese Unie’, gevolgd door 10 voordelen, dan zal de vervolgvraag ‘Vindt u dat Nederland in de Europese Unie moet blijven” positiever worden beantwoord. Dat komt omdat het hoofd kort voor deze vraag alleen maar voordelen gezien heeft. Voor een eerlijke uitkomst moeten er evenveel positieve als negatieve kanten van het onderwerp worden getoond.

In het eerdergenoemde artikel in de Volkskrant geeft Kanne aan dat opiniepeirs neutraal te werk moeten gaan, maar daarnaast moet je beïnvloeding door vraagstelling niet overschatten. ‘Wanneer 90 procent van de bevolking zegt dat Zwarte Piet hetzelfde moet blijven, veranderd dat met een andere vraagstelling niet opeens naar 10 procent’.

Peiling en de journalist

In het Volkskrant artikel met kritiek op peilingen staat dat politici peilingen als “de waarheid” behandelen. De media nemen dit dan weer over en zij leggen het voor aan de burgers. Daarom vindt Adri Vermaat, ombudsman bij dagblad Trouw, dat media terughoudend moeten zijn met opiniepeilingen. “Al helemaal als het gaat om peilingen rond verkiezingen. ‘Als er nu verkiezingen zouden worden gehouden’ heet het. Het punt is alleen dat er op dat moment dus geen verkiezingen worden gehouden. Hoezeer onderzoekers er met peilingen over verkiezingen naast kunnen zitten, blijkt regelmatig. Peilingen van Maurice de Hond en andere bureaus laten we daarom in principe voor wat ze zijn.” Toch kan ook Trouw het niet laten om zo nu en dan een peiling-bericht te plaatsen. “Vaak een berichtje voor in de maandagkrant na een nieuwsluw weekend. Wanneer er nog een berichtje voor de binnenlandpagina nodig is, is dit de noodoplossing. Tot grote ergernis van de collega’s van de politieke redactie, die zulke peilingen per definitie afkeuren.”

Volgens Vermaat slinkt het aantal berichten over opiniepeilingen. “Tien jaar geleden stonden kranten vol met peilingen over vakanties, drink- en eetgewoonten, veiligheid, leefomgeving, noem het maar op.” Vermaat denkt dat de vermindering te maken heeft met de hoge kosten bij goede peilingen en de zorgelijke toestand waarin kranten op dit moment verkeren. “Dat is een suggestie mijnerzijds, niet gebaseerd op enige peiling.”

Vermaat vult aan dat je best nuttige informatie kunt halen uit enquêtes, maar je hoeft niet per se alle cijfers te publiceren. Het is belangrijker om met een deskundige te spreken. Zij geven wetenschappelijk commentaar bij de onderzoeksuitslagen en dat maakt een artikel betrouwbaarder.

Schermafbeelding 2016-04-05 om 21.46.30

Fout

We vroegen Joop van Holsteyn naar de invloed van opiniepeilingen en het uiteindelijke stemgedrag. Hij verwijst ons naar zijn eigen werk waarin hij aangeeft dat er niet alleen maar slechte peilingen gedaan worden. Volgens hem zijn peilingen momentopnamen die door kiezers gezien worden als voorspellingen. Deze “voorspellingen” zijn nodig om tactisch te stemmen. Want wanneer peilingen een ongewenst beeld geven gaan mensen anders stemmen, met als gevolg dat de peilingen niet meer kloppen.

Van peiling naar uitslag

We hebben de grote verkiezingen van de afgelopen jaren bestudeerd en de samenhang met de peilingen die daaraan vooraf gingen. We ontdekten dat peilingen er niet alleen naast zaten met de uitslag, maar ook met andere zaken zoals bijvoorbeeld de opkomst. Hieronder zijn onze bevindingen te lezen.

Schermafbeelding 2016-04-05 om 21.47.43 Schermafbeelding 2016-04-05 om 21.47.55 Schermafbeelding 2016-04-05 om 21.48.05 Schermafbeelding 2016-04-05 om 21.48.25


Conclusie
 

Uit de onderzoekjes hierboven blijkt dat al dat peilingen geen garantie bieden voor de daadwerkelijke uitslag. We kunnen nu dus wel stellen dat opiniepeilingen niet te letterlijk genomen moeten worden. Panels zijn vaak zelfselecterend en daardoor niet representatief. Er zijn natuurlijk ook aselecte panels, maar hier moet doormiddel van weging onder- en oververtegenwoordiging worden gerepareerd. Een van de problemen hier is ook dat niet-stemmers niet snel de moeite nemen om een politieke enquête in te vullen. Zij worden dus snel buiten beschouwing gelaten in dit soort onderzoeken.

Regelmatig blijkt dan ook achteraf dat peilers er naast zaten met hun voorspellingen. Hierdoor is er veel kritiek op de verschillende peilers. Zij geven te weinig informatie over de manier waarop ze onderzoek hebben gedaan, waardoor de representativiteit moeilijk gecontroleerd kan worden. Zaken die peilers in de toekomst duidelijk aan moeten geven is onder andere het aantal respondenten voor het onderzoek en de manier waarop ze benaderd zijn.

Joop van Holsteyn geeft een andere kijk op de zaak. Doordat peilingen voor “waar” gezien worden, passen mensen hun stemgedrag daar op af. Met als gevolg dat de peiling misschien niet meer klopt.

De kans dat opiniepeilingen ooit 100 procent betrouwbaar zijn is niet mogelijk, maar dat is ook niet het streven. Laat peilers dan in ieder geval transparant zijn, zodat we zelf kunnen bepalen in hoeverre we peilingsuitslagen moeten vertrouwen. Misschien moeten we maar eens een peiling houden om te zien hoeveel mensen voor deze aanpak zijn.