Belofte maakt schuld. Vanaf vandaag elke week een onmisbaar onderzoek in 600 woorden. Om aan te tonen dat ‘het Vak’ zonder onderzoek niet bestaat. Om te bevorderen dat er volgend jaar meer onderzoekers tussen de ‘Onmisbare 100’ staan. Om u te inspireren. En om uw voordeel mee te doen. De limiet van 600 woorden heb ik mezelf opgelegd. 1 A4-tje moet u toch wel aankunnen. Misschien is het voor onderzoek een beetje weinig. Mocht het zo uitkomen zal ik voor de liefhebbers een uitgebreidere versie plaatsen op mijn blog faassevision
Blijft uw klant of niet?
Het artikel ‘De houdbaarheid van churnvoorspellingsmodellen’ heeft dit jaar de Wetenschapsprijs van de MOA (MarktOnderzoek Associatie) gewonnen. Volgens de jury onder meer omdat: “dit methodologische artikel zo helder en leesbaar geschreven is”. Desondanks moest ik zelfs als onderzoeker toch regelmatig het één en ander nazoeken. Neem nu alleen al het woord ‘churn’. Dat staat voor het aantal klanten dat wegloopt in een specifieke periode. Het artikel is daarmee een must voor telecomproviders, ziektekostenverzekeraars, dagbladmanagers, betaaltelevisiezenders, omroepbazen, enzovoort. Een ‘churnvoorspellingsmodel’ vertelt je:
a. Hoeveel klanten je bij ongewijzigd beleid nog over hebt over een maand, een kwartaal, een jaar of over vijf jaar
b. Welke factoren bepalen of iemand wegloopt of blijft
c. Wanneer je iemand het best kunt benaderen met ‘het juiste aanbod’ om te zorgen dat hij of zij toch blijft
d. Wat de verwachte ‘Customer Lifetime Value’ is van elke klant in het bestand
Bij de ‘houdbaarheid’ van churnvoorspellingsmodellen draait het om de vraag of je hetzelfde model dat je vandaag hebt gemaakt ook over een half jaar of over twee jaar nog ongewijzigd kunt gebruiken.
Ai, al 180 woorden nodig om alleen de titel van het artikel uit te leggen. Maar ja, ik ben dan ook geen Harry Obdeijn.
Twee soorten modellen
De onderzoekers vergelijken twee soorten van churnvoorspellingsmodellen: logistische regressiemodellen (logit modellen) en boommodellen (tree decision modellen). Deze twee typen van modellen worden in de praktijk het meest gebruikt. Voor welk soort model je kiest is afhankelijk van de grootte van de dataset en de kwaliteit van de data die je hebt.
Met een regressiemodel probeer je een afhankelijke variabele (klant loopt weg of klant blijft) te voorspellen met behulp van een aantal verklarende variabelen. Voor een telecomprovider zouden dat bijvoorbeeld kunnen zijn ‘leeftijd van de klant’, ‘inkomen van de klant’ en ‘hoe lang ben je al klant’. Maar voor een goed regressiemodel moeten de variabelen aan allerlei statistische eisen voldoen. Een afhankelijke variabele met maar 2 waarden: ‘klant loopt weg’ en ‘klant blijft’ is eigenlijk niet toegestaan. Om daarvoor te corrigeren wordt gewerkt met de relatieve kans dat de klant weggaat of blijft, en wordt daar ook nog eens de logaritme van genomen. Vandaar: logistisch regressiemodel.
Bij een boommodel wordt telkens bekeken welke variabele het grootste verschil maakt voor of iemand blijft of weggaat. (Zie het fictieve voorbeeld)
Met behulp van data van een telecomprovider en van een ziektekostenverzekeraar hebben de onderzoekers gekeken naar de kwaliteit en de houdbaarheid van de voorspellingen die beide methoden opleveren.
Over het algemeen blijken de boommodellen de beste voorspellingen op te leveren*.
Helaas blijken zowel de logit als de boommodellen maar zeer beperkt houdbaar. Na 1 of 2 perioden moet je echt een nieuw model maken wil je niet hopeloos de plank misslaan. Met andere woorden: een model dat goed voorspelt hoeveel klanten volgend jaar zullen weglopen en waarom, zegt niets over hoe het over 2 of 3 jaar zal zijn. Daar moet je een nieuw model voor maken.
Punt van kritiek
Als ik toch een puntje van kritiek op een prijswinnend artikel mag hebben: Bij de variabelen die gebruikt worden als voorspellers is niets te vinden over campagnes, mediabestedingen en concurrentie. Volgens Daniel Kahneman is het vergeten van de concurrent een veel gemaakte fout. Terwijl een belangrijke reden om van provider of verzekeraar te wisselen juist gelegen is in die onweerstaanbare campagne van de concurrent. Gelukkig geldt ook hier de laatste conclusie van elk zichzelf respecterend onderzoek: meer onderzoek is nodig.
Risselada, Hans, Verhoeff, Peter C. en Tammo H.A. Bijmolt (2013), Houdbaarheid van churnvoorspellingsmethoden, in: Jaarboek 2013 MarktOnderzoekAssociatie, SpaarenHout, Haarlem.
U kunt het hele artikel online lezen in het MOA jaarboek 2013
* In combinatie met de ‘bootstrap aggregating’, ofwel ‘bagging’ techniek, maar die heb ik u verder willen besparen.
Plaats als eerste een reactie
Ook een reactie plaatsen? Word lid van Adformatie!