Af en toe wordt er een bekende en gekleurde Nederlander met z’n dikke bak zonder duidelijk aanwijsbare reden aan de kant gezet. Rapper Typhoon, singer-songwriter Mr. Probz of Feyenoordkeeper Kenneth Vermeer kregen alle drie dit jaar met ‘etnische profilering’ te maken. Hun dubieuze aanhoudingen werden breed uitgemeten in de (sociale) media. Kregen de misclassificaties in marketing intelligence maar zoveel aandacht…
Boeven vangen
Uit de deze week gepubliceerde studie ‘Boeven vangen’ blijkt dat etnisch profileren structureel wordt toegepast. Je mag het moreel verwerpelijk vinden, het is wél gebaseerd op statistische feiten. De politie weet namelijk uit de criminaliteitscijfers dat boefjes vaker niet-blank zijn dan je op basis van de samenstelling van alle Nederlandse burgers zou verwachten. Huidskleur is daarom een indicator, zeker in combinatie met een dikke bolide. Of je het eens bent met deze wijze van werken doet voor nu even niet ter zake; feit is dat op basis van deze statistische verbanden de politie vaker boeven vangt dan door volstrekt willekeurige automobilisten aan de kant te zetten.
Klanten binnenboord houden
De politie heeft als taak criminelen op te pakken. Uw taak is wellicht uw klanten binnenboord houden. Het werk van de politie en dat van u is natuurlijk verschillend, maar er is ook een duidelijke overeenkomst. In beide gevallen is er sprake van onzekerheid over de beslissing die je zal moeten nemen. De politie zet een persoon aan de kant die mogelijk crimineel is. U doet iemand een gepaste aanbieding die u mogelijk gaat verlaten. Zowel de politie als u hebben dus baat bij een instrument die deze schatting zo goed mogelijk maakt.
Daarvoor worden indicatoren gebruikt om in te schatten hoe waarschijnlijk het is of de persoon in kwestie een boefje of een churner is. Dit is het principe achter elk model. En ook al levert een model nooit 100% zekerheid, de politie spoort met behulp hun model wél meer criminelen op in vergelijking met een beetje in het wilde weg gokken. En u zult met uw retentiemodel meer weglopende klanten identificeren dan klakkeloos uit te gaan van een gemiddelde klantduur.
De verstopte kostenpost: false positives
Maar dat is maar één zijde van deze gevoelige medaille. Om een oordeel te vellen over de kwaliteit van een model heb je naast het aandeel correcte voorspellingen ook het aandeel niet-correcte voorspellingen nodig. In het geval van de etnische profilering zou dat iemand zijn die op basis van de indicatoren ‘niet-blank’ en ‘nieuwe auto’ aan de kant wordt gezet, maar geen boefje blijkt te zijn. Dit noemen we een ‘false positive’.
Gênante situaties
Typhoon en Mr Probz waren onterecht aan de kant gezet en dus ook false positives. Bij veel van dit soort modellen vliegen de false postives je in groten getale om de oren. Deze verkeerd voorspelde ‘hits’ leiden in het geval van etnische profilering tot gênante situaties. In het geval van een retentiemodel kunnen al die false positives leiden tot geldverspilling.
Je doet bijvoorbeeld veel meer klanten dan nodig een aanbieding om ze binnen de tent te houden. Een deel dat hierop in gaat was überhaupt niet van plan weg te gaan; hier gooi je dus marge weg. Een deel zal bovendien door jouw poging op het idee worden gebracht om op zoek te gaan naar een betere deal. Al met al houd je dus mogelijk door het gebruik van je model een klein aantal klanten binnen, maar geef je tegelijkertijd geef je aan een veel grotere groep klanten marge weg of maak je slapende honden wakker.
Daadwerkelijke weglopers
Hieronder is het resultaat van een willekeurig retentiemodel visueel weergegeven. In dit voorbeeld is 50% van de daadwerkelijke weglopers geïdentificeerd, waar vervolgens actie op kan worden genomen. Dat is uiteraard stukken beter dan gokken. Tegelijkertijd is 30% van de klanten als wegloper geclassificeerd terwijl deze helemaal niet van plan waren weg te gaan.
De exacte verhouding van de blokjes zullen uiteraard van model tot model verschillen, maar in de meeste gevallen zal je zien dat het aandeel goed voorspelde weglopers een stuk kleiner is dan het aandeel fout voorspelde weglopers. Voor al uw modellen geldt: hoe lager de base rate (hoe vaak datgene wat je wilt voorspellen voorkomt), hoe groter het aandeel false positives. Deze misclassificaties zijn meestal geen onderdeel van de business case…
Return on modeling
Wie vat wil krijgen op de ROI van zijn model zal dus niet alleen naar de opbrengsten van de correcte voorspellingen moeten kijken. Vooral de kosten van de onjuiste voorspellingen zullen bepalen of je onder de streep in de zwarte cijfers blijft. Dit stuk weegt vaak zwaarder dan je denkt, vooral omdat het aantal false positives vaak erg groot is.
Het etnische profilering-model van de politie leidt tot discussie in de maatschappij, mede door de vele false positives. Uw retentiemodel zou intern ter discussie moeten staan als het effect van de (waarschijnlijke vele) false positives onbekend is. En dat geldt voor elke model dat u gebruikt. Modellen kunnen een fantastisch hulpmiddel zijn bij het maken van betere beslissingen. Maar zelfs een op het eerste gezicht goed voorspellend statistisch model kan u uiteindelijk meer geld kosten dan dat het u opbrengt.
Beeld: Amnesty International
Plaats als eerste een reactie
Ook een reactie plaatsen? Word lid van Adformatie!