A/B testen

Bij een A/B test wordt er maar één variabele getest binnen het experiment, zoals de kleur of tekst van een button. Bij een multivariate test worden meerdere elementen tegelijkertijd doorgevoerd en getest (zoals de kleur, plaats en tekst van een button). Het voordeel van een A/B test is dat je exact weet welke wijziging het verschil heeft gemaakt. Een multivariate test levert meer inzichten op in één keer, maar vereist wel aanzienlijk meer verkeer om statistisch betrouwbare resultaten te behalen.

Bij een A/B test krijgen bezoekers een aangepaste versie van dezelfde pagina te zien via een laagje dat over de originele pagina heen wordt gelegd. De URL blijft hierbij gelijk. Bij een split-URL test worden bezoekers doorgestuurd naar twee volledig verschillende pagina's met elk een eigen URL. Dit is met name geschikt wanneer er een compleet nieuw paginaontwerp getest moet worden of wanneer er zoveel elementen tegelijkertijd worden gewijzigd dat een standaard A/B test niet volstaat.

Dit is afhankelijk van het verschil dat je wilt meten, het aantal bezoekers en het huidige conversiepercentage van je website. Als vuistregel geldt: hoe groter het verwachte effect, des te minder verkeer je nodig hebt. Voor de meeste websites is een testperiode van minimaal 2 tot 4 weken aan te raden om betrouwbare resultaten te krijgen. Tijdens het intake gesprek kijk ik altijd of jouw website voldoende volume heeft om significante testen te draaien.

Mijn advies is om een A/B test maximaal 30 dagen te laten lopen. Dit is de tijd die nodig is om voldoende data te verzamelen voor een betrouwbare conclusie en na 30 dagen vervallen de meeste cookies. Hierdoor heb je het risico dat één bezoeker in beide test varianten terecht kan komen, iets wat je niet wilt hebben. Na afloop van de A/B test ontvang je een rapport met de resultaten en een concreet advies over de vervolgstappen.

Dat is geen probleem, want ook een negatief resultaat levert waardevolle inzichten op. Als de B variant niet beter presteert dan de originele versie, weet je in ieder geval dat het niet werkt en dat je geen tijd hoeft te steken in het implementeren van de voorgestelde wijzigingen. Na afloop stel ik een nieuwe hypothese voor op basis van de opgedane learnings. Zo blijven we het optimalisatieproces voortzetten op basis van data.