Ik kwam vorige week een interessant bericht tegen op LinkedIn, gepost door een trots marktonderzoekbureau. Men had onderzoek gedaan naar het effect van de inzet van foodblogs voor een adverteerder ter promotie van een nieuw product. Het bleek dat aankoopintentie en bekendheid omhoog schoten door het inzetten van foodblogs. Adverteerder blij, marktonderzoekbureau blij, mediabureau blij. Het onderzoek is een voorbeeld van hoe vaak de effectiviteit van communicatie gemeten wordt.
Maar er klopt iets niet.
Het onderzoek was vrij eenvoudig opgezet. Een steekproef consumenten was ondervraagd, met een oververtegenwoordiging van lezers van bepaalde foodblogs. Aan hen werd gevraagd naar bekendheid en koopintentie van de producten die gepromoot werden op de foodblogs. Het bleek dat de lezers van de foodblogs vaker het betreffende product kenden en vaker zeiden het te gaan kopen. Succes! Een bijbehorende grafiek had er zo uit kunnen zien:
(fictief resultaat, alleen ter illustratie)
Uit het persbericht: Zo is de aankoopintentie onder bezoekers van foodblogs bijna 1,5 keer hoger dan die onder niet-bezoekers. Dat is echter niet het enige, ook de merkvoorkeur en daadwerkelijke aankopen zijn significant hoger onder bezoekers van de ingezette foodblogs. Bovendien is de merkperceptie ten opzichte van private labels veel gunstiger onder deze doelgroep.
Wat veroorzaakt eigenlijk wat?
Er is een sterk verband tussen de hoeveelheid brandweerauto’s die naar een bepaalde brand uitrukken en de hoeveelheid schade die die brand veroorzaakt. Hoe meer brandweerauto’s, hoe meer schade. Conclusie: we zouden minder brandweerauto’s moeten laten uitrukken, dan neemt de hoeveelheid schade vanzelf af. Huh?
Wat nou als… consumenten die al een hogere interesse hebben in bepaalde producten en in innovaties op food-gebied, vaker foodblogs lezen? Als iemand al dacht ‘hm, lekker nieuw product, dat wil ik weleens proberen’ en vervolgens een foodblog ziet waarin dit product wordt beschreven, zou dat niet de kans vergroten dat die persoon het blog zal lezen? Ofwel, oorzaak en gevolg liggen andersom. Dit zou het onderzoek behoorlijk vertekenen.
Denkfouten
We moeten dus voorzichtig zijn om, wanneer we een statistisch verband zien, de aanname te maken dat er een oorzakelijk verband is. Er is een aantal ‘denkfouten’ mogelijk:
Beide fenomenen hebben een gezamenlijke oorzaak. Regen stimuleert parapluverkopen en zorgt voor meer files. Maar een hogere paraplu-verkoop leidt niet tot meer files.
Beide fenomenen kunnen toevallig met elkaar samenhangen. Er is een sterk verband tussen het aantal films waarin Nicolas Cage speelt en het aantal mensen dat verdrinkt in een zwembad (ontleend aan de website www.tylervigen.com, een website waar meer dan 50.000 toevallige correlaties worden getoond).
Oorzaak en gevolg blijken andersom te liggen dan gedacht, zoals in het voorbeelden van foodblog-lezers.
Het is eenvoudig om aan te tonen dat er een relatie is tussen twee variabelen. Bewijzen dat de één de ander veroorzaakt, is lastiger. Daar zijn verschillende manieren voor, die ook helpen om de beschreven denkfouten te voorkomen. Het begint met het werken vanuit een (liefst bestaand) theoretisch model. Daarin zijn zoveel mogelijk relevante elementen en hun relaties beschreven. In het geval van de foodblogs had dat er zo uit kunnen zien:
Het model maakt duidelijk dat er overige invloeden kunnen zijn die een rol spelen, zoals communicatie in andere media. En het wordt duidelijk dat er sprake is van ‘vooraf’ en ‘achteraf’. Dit leidt tot het principe van het ‘experiment’ om oorzaken en effecten aan te tonen. Het woord ‘experiment’ roept associaties op met mannen in witte jassen in steriele laboratoria en niet zozeer met (commercieel) marktonderzoek. Toch passen we de principes vaak toe, soms zonder dat we het zelf beseffen.
Het echte effect van de foodblogs
Om het effect van de plaatsingen op de foodblogs te kunnen meten, had men een nulmeting kunnen doen, voordat het nieuwe product werd gepromoot door foodbloggers. Deze nulmeting zou moeten worden gedaan, zowel onder het ‘gewone publiek’ als onder lezers van foodblogs. Dan had men geweten wat de bekendheid en koopintentie was voor de aandacht op de foodblogs. Nadat de foodblogs aandacht schonken aan het nieuwe product, zou wederom een steekproef van ‘gewone mensen’ en lezers van foodblogs ondervraagd moeten worden, om vast te stellen of er een effect is geweest. Onderstaand (fictieve!) plaatje zou het resultaat kunnen zijn.
Dit plaatje vertelt een ander verhaal dan het persbericht, ondanks dezelfde resultaten van de meting achteraf. De bekendheid van het product neemt weliswaar een klein beetje toe onder de lezers van foodblogs, maar stijging van dezelfde orde zien we ook onder het gewone publiek (die stijging is relatief gezien zelfs groter). Deze stijging kan veroorzaakt zijn doordat ook op andere plekken communicatie over het nieuwe product te zien geweest is. Als dit het resultaat zou zijn, is het maar de vraag hoe effectief de foodblogs echt zijn geweest. Wellicht heeft men alleen maar mensen bereikt die het product toch al zouden proberen.
De les is hier dat, als je oorzaken en effecten wilt meten, een experiment een geschikte aanpak is. Je hebt een nulmeting en een één-meting nodig, onder een vergelijkbare groep mensen. En om de invloed van andere factoren zoveel mogelijk te neutraliseren, kun je gebruik maken van een controlegroep. Je voorkomt er de veel voorkomende denkfouten vaak mee. In combinatie met een goed doordacht theoretisch model, is dit meestal hoe je het dichtst bij de waarheid kan komen.
foto: Peter Griffin/PublicDomainPictures
Plaats als eerste een reactie
Ook een reactie plaatsen? Word lid van Adformatie!