Jorden Lentze was vorige week gastspreker bij de uitreiking van de DDMA Dutch CRO Awards (zie hier voor de uitslag). Wij spraken met hem over zijn ervaringen met de inzet van Conversion Rate Optimization (CRO) en hoe toepassing de productontwikkeling helpt.
‘Conversion Rate Optimization is een onderdeel van het productontwikkelingsproces. Geen feature gaat hier live zonder te experimenteren. We testen alles. Of het nu gaat om kleine productoptimalisaties, bugs of product marketing campagnes. In een gestructureerd proces gebruiken we gebruikersonderzoek en data-analyse om pijnpunten van klanten te vinden. Van hier uit ontwikkelen we een hypothese voor productverbeteringen of nieuwe productfeatures die vervolgens via een A/ B-test worden gevalideerd.’‘Toen ik bij Booking.com kwam werken was het voor mij een verrassing dat alle productteams wel experimenten uitvoerden, maar dat ze dit geen CRO noemden. CRO maakt hier deel uit van het dagelijks leven van elke product owner en elk productteam. Hoewel we experimenteren dus niet als zodanig CRO noemen, is het principe wel een geïntegreerd onderdeel van het productontwikkelingsproces.’
‘Als bedrijf kun je er voordeel van hebben als er één enkele metric kan worden gekozen die het hele bedrijf helpt bij het bereiken van een gezamenlijk doel. Maar in veel gevallen is dit niet genoeg en zul je meer dan één KPI willen bekijken. Bij Bing gebruiken ze bijvoorbeeld Overall Evaluation Criterion (OEC) waarin verschillende metrics in één worden gecombineerd. Bij Booking.com combineert onze Experiment Tool (ET) verschillende metrics, zoals informatie over boekingen, informatie over annuleringen, oproepen van het servicecentrum en honderden andere statistieken die ons helpen te begrijpen hoe gedrag tijdens een experiment verandert.’
‘De basis van een goede hypothese is goede user research of data-analyse. Ontwikkelaars, ontwerpers, product owners; iedereen zou verbazingwekkende hypotheses moeten schrijven. Persoonlijk geef ik er de voorkeur aan om een hypothese te schrijven met de mensen die aan het experiment gaan werken. Het belang van een goede hypothese kan ik niet genoeg benadrukken: zonder hypothese zou je geen experiment moeten uitvoeren. Niet voor niets krijgen bij Booking alle medewerkers met een technische rol een hypothesetraining.
‘Zonder hypothese is het moeilijk om experimenten te ontwerpen. Het productteam kan dan niet zien of het design de vraag beantwoord die het experiment moet beantwoorden. Zonder duidelijke hypothese zou je zomaar een experiment full-on kunnen zetten dat gebaseerd is op verschillende, secundaire metrics. Tegelijk kan dit de kans op een vals positief vergroten. Verder kun jegeen conclusies baseren op de resultaten van een experiment, anders dan ‘variant B presteert beter dan base’ . Je leert niets om de resultaten van je website te schalen.
‘Segmentatie is essentieel als je wilt leren van experimenten. Bijvoorbeeld als je wilt weten wat de toe- dan wel afname van de primaire metric veroorzaakt. Zorg ervoor dat de steekproefgrootte van de segmenten groot genoeg is. En bedenk welke componenten mogelijk worden beïnvloed voordat je een experiment uitvoert. Dan resteert nog de vraag: hoe wil je jouw website ontwerpen? Bijvoorbeeld door het creëren van een specifieke ervaring voor elk segment.’
'Als eerste moet je kijken naar significantie: vertelt je test tool dat het groen of rood is? Als je niet genoeg verkeer hebt om impact te meten, hoeft je het experiment niet te bouwen. Het berekenen van de power vertelt je wanneer de sample size groot genoeg is om de impact van de verandering te meten. Je kunt daarvoor ook de power calculator gebruiken die wij hebben gebouwd. Controleer op fouten tijdens de runtime van het experiment. Let daarbij specifiek op sample ratio mismatch fouten: een verschil tussen verkeer in basis en variant. Je kunt deze tool van Lukas Vermeer gebruiken om te berekenen of je een probleem hebt.'
Deze gastbijdrage is tot stand gekomen met medewerking van DDMA.
Plaats als eerste een reactie
Ook een reactie plaatsen? Word lid van Adformatie!