In mijn dagelijkse werk als ontwikkelaar van een content managment systeem krijg ik regelmatig de vraag waarom verschillende website analyticspakketten verschillende meetresultaten rapporteren, zelfs als het gaat over dezelfde pagina's. Op het eerste gezicht lijkt dit vreemd. Deze pakketten zouden toch exact dezelfde gegevens moeten verzamelen en weergeven?
Maak u geen zorgen: uw pakket levert geen verkeerde resultaten. Ze meten gewoon verschillende zaken.
Wat is een bezoek?
Het klinkt zo eenvoudig, het meten van de bezoekers. In de praktijk is dit moeilijker dan gedacht. Want wat is een bezoek eigenlijk?
Is er sprake van bezoek als iemand (of 'iets'') een pagina van uw website opvraagt? Of moet deze eerst een bepaalde tijd op de pagina blijven hangen? Hoe lang dan?
En stel dat we in staat zijn om af te spreken wat een bezoeker is, wie zegt dan dat deze werkeiljk actief is op uw site/ Is hij in een andere tab van zijn browser wellicht aan het rondneuzen op de site van uw concurrent? Of heeft hij de pagina alweer weggeklikt voordat deze helemaal geladen was? Is het trouwens één bezoek als iemand uw pagina binnen 25 minuten weer opvraagt? En als hij dat binnen twee seconden doet? Moet hij dan van een pagina van uw eigen site afkomen of is het ook goed als hij op een andere manier weer binnen komt? Eigenlijk is het dus niet zo makkelijk te bepalen wat een bezoek is.
Organisaties als JICWEBS, ABCe, DAA en IAB hebben pogingen gedaan om het begrip 'bezoek' te definiëren, maar tot een formele standaardisatie is het niet gekomen. En ook de onofficiële definities geven onvoldoende houvast.
Eigenlijk weet u alleen of iemand een bezoeker is, als u naast hem gaat zitten en meekijkt naar wat hij aan het doen is.
Naast de definitie van een bezoek gebruiken analytics-pakketten verschillende strategieën en algorithmen om bezoeken te te meten. Sommigen meten helemaal aan het begin van de pagina om niks te missen, andere juist aan het einde om er zeker van te zijn dat de bezoeker de hele pagina heeft geladen. Maar misschien is uw pagina wel zo groot dat de bezoeker dan alweer weg is. Weer anderen doen het beide of bouwen nog eens extra tijdvertragingen in om er zeker van te zijn dat alle plaatjes en advertenties zijn geladen. Al deze verschillen leiden tot verschillen in rapportage.
Wat is een bezoeker?
Is een 'bezoeker' dan wel een duidelijke grootheid? Helaas, ook dit is niet het geval. Het is niet eenvoudig onderscheid te maken tussen mensen die uw site bezoeken en zoekmachines. Denk aan robots, spiders, hackers en andere systemen die uw pagina's opvragen maar die u niet direct als 'bezoeker' zou willen classificeren.
Is een RSS app die al uw nieuwspagina's in één keer opvraagt trouwens een bezoeker? Gelooft u dat de eigenaar van die app daadwerkelijk al die berichten leest als hij later in de trein zit? Hoe herkent u trouwens een bezoeker? Is dat het IP adres, een fingerprint, een LSO of een HTML cookie? Wat als iemand via een proxy of een bedrijfsnetwerk binnenkomt? En het omgekeerde: Wat als uw bezoeker eerst via zijn desktopmachine uw site bezoekt en een dag later via de mobiele site weer bij u kijkt? Is dat een enkele bezoeker?
Kortom, ook hier weet u minder dan u denkt te weten en volgen verschillende analyticspakketten een verschillend plan van aanpak. Dit maakt het vergelijken van resultaten nog moeilijker.
Experimenten
Veel pagina's bevatten tegenwoordig A/B tests om te onderzoeken welke variant de hoogste conversie oplevert. Vaak is het analyticspakket niet op de hoogte van deze tests en denkt het domweg dat het steeds om dezelfde pagina gaat, ondanks dat deze er volledig anders uit ziet. Het starten en stoppen van tests heeft invloed op het gedrag van de bezoeker op de pagina en daardoor direct op de manier waarop u de meetresutaten dient te interpreteren.
Personalisatie en targeting
Steeds vaker zie je ook dat pagina's worden gepersonaliseerd. Afhankelijk van wat het systeem van de bezoeker weet, denk hierbij aan land, tijdzone, interessegebied, cookies en trackers, wordt een geoptimaliseerde pagina getoond. En weer weet het analyticspakket hier niet van en kan het dus geen volledige resultaten rapporteren. Ook het invoegen van banners van derde partijen heeft dit effect. Vaak zijn deze ook gepersonaliseerd. Het kiezen van een andere advertentiecampagne voor uw banners heeft direct invloed op de metrics die uw meetsystemen rapporteren en hoe u deze dient te interpreteren.
Details
Ook kleinere details kunnen eenvoudig leiden tot verschillen in rapportage. Rapporteert het systeem in uw lokale tijd of in de tijdzones van de bezoekers? En krijgt uw Amerikaanse marketingcollega wel dezelfde grafieken op het scherm omdat ze zelf toevallig in een andere tijdzone zit?
Nauwkeurigheid
Naast deze technische oorzaken rijst natuurlijk de vraag: Hoe belangrijk zijn nou eigenlijk deze verschillen in gerapporteerde resultaten? Het antwoord zal voor veel datamarketeers onprettig zijn, want: Het maakt allemaal niet zoveel uit.
Zelfs systemen die veel getallen achter de komma plaasen en zo de indruk wekken vreselijk nauwkeurig te werk te gaan, baseren zich op arbitraire aannames over ‘bezoekers’ en ‘bezoeken’. Ze staan onder invloed van andere, gelijjktijdig veranderende omstandigheden zoals targeting, advertentiecampagnes en tests, en weten dus niet precies wat ze rapporteren.
Kortom, als een data-marketeer het heeftover een toename van 0.52% in de bezoekersaantallen met 95% zekerheid, bedenk dan dat deze getallen, ondanks dat ze zeer nauwkeurig zijn berekend, gebaseerd zijn op aannames. En dat verschilln net zo goed kunnen zijn veroorzaakt door het weer of de voetbalwedstrijd van gisteravond, als door uw slim uitgedacht campagneplan. Analytics gaan niet over de getallen maar over de grote lijn.
Hebben webanalytics dan nog wel zin?
Natuurlijk. Het is altijd beter om wel te meten. Webanalytics bieden krachtige inzichten in trends die u kunnen helpen uw businessprocessen te optimaliseren, zodat u beter en direct kunt inspringen op de behoeften van uw klant. Mits u zich focust op de grote lijn en niet op de getallen achter de komma.
Kijk naar trends. Denk er over na, onderzoek ze, verklaar ze, reflecteer en leer hoe u zaken kunt verbeteren. En kijk nog eens na een tijdje om te zien of het werkt.
Plaats als eerste een reactie
Ook een reactie plaatsen? Word lid van Adformatie!