Succesvol A/B-testen in e-mail marketing met een stappenplan!

A/B-testen: dit zijn de 6 stappen

Voor succesvolle A/B-testen in e-mailmarketing heb je een gestructureerd proces nodig. Zonder een gestructureerd proces is de kans klein dat je continu de meeste impact maakt op je KPI met de A/B-testen. 

Tip: is een teamlid niet overtuigd van A/B-testen voor e-mailmarketing? Stuur dan deze blog over waarom A/B-testen in e-mailmarketing essentieel is door

Een geslaagde test bestaat uit zes stappen:

1. Inzichten opdoen
2. Prioriteren
3. Testplan maken
4. Testen
5. Analyseren
6. Doorvoeren
   
   

Afbeelding 1: de zes stappen van een A/B-test

Tip: gebruik deze invulsheet voor het bijhouden van je prestaties voor de belangrijkste KPI's in e-mailmarketing

Tip: lees in deze blog meer over doelstellingen voor e-mailmarketing

Analyseer de data en doe inzichten op

Dit is het startpunt, want zonder goede inzichten heb je geen goede A/B-test. Er zijn veel bronnen die je kunt raadplegen. Denk aan benchmarks. Zelf gebruik ik de nationale e-mailbenchmark van DDMA die elk jaar uitkomt. DDMA is de branchevereniging voor datagedreven marketing. Verder kun je inspiratie opdoen uit blogs, whitepapers, boeken en events.

Een bron waar bedrijven vaak overheen kijken zijn interne bronnen. Deze zijn erg waardevol; een interne bron zegt namelijk rechtstreeks iets over je eigen doelgroep. Klantenservicevragen, input van winkelpersoneel, feedback van nieuwsbriefontvangers en A/B-testen in de webshop zijn allemaal voorbeelden van waardevolle interne bronnen. Verder heb je Google Analytics en e-mailmarketingsoftware om inzicht uit te halen. Het is belangrijk dat je beide goed inricht zodat je betrouwbare resultaten meet.

#2: prioriteer testideeën

Er zijn veel bronnen die pijnpunten van bezoekers aantonen, dus je verkrijgt ook veel inzichten en testideeën. Maar waar begin je? Ga niet zomaar aan de slag met testen, want je weet nog niet welk punt de hoogste prioriteit heeft. Het is belangrijk dat je prioriteert, zodat je zo efficiënt mogelijk test en continu de meest mogelijke impact maakt op je KPI's.

Voor het prioriteren weeg je elk verbeterpunt op in drie factoren: potentie, belang en het gemak waarmee je de testvariant maakt. Elk onderdeel krijgt een score, waarna de totale score aangeeft hoeveel prioriteit het verbeterpunt heeft. Dit staat ook bekend als het PIE-model (Potential, Importance, Ease).

Hoe gebruik je PIE?
De potentie van een verbeterpunt bepaal je door de mate van onderbouwing. Is het verbeterpunt direct zichtbaar in je e-mailmarketing, is het wetenschappelijk onderbouwd en hoeveel bronnen onderbouwen het? Hoe meer bronnen je verbeterpunt ondersteunen, des te hoger de score.

Bij importance kijk je naar de KPI die je wilt verbeteren met de test. De score wordt hoger als het een KPI betreft die achter loopt ten opzichte van de benchmark. Je geeft ook een hogere score als het een KPI is die effect heeft op andere KPI’s. Zo krijgt bijvoorbeeld een testidee waarmee je het aantal geopende e-mails wilt verbeteren (openpercentage) een hogere score dan een testidee die mogelijk het aantal keer dat er in je mail wordt geklikt (clicks) optimaliseert. Een beter openpercentage heeft tenslotte ook een positief effect op het aantal klikken.

‘Ease’ gaat over het gemak van het implementeren van de oplossing. Een knopkleur aanpassen is eenvoudiger dan gratis verzending doorvoeren, want voor het realiseren van gratis verzending moet de hele organisatie aan de slag. Dus hoe makkelijker het doorvoeren van de verbetering, hoe hoger de score het verbeterpunt op dit onderdeel krijgt.

Het PIE-model kun je in Excel verwerken. Je benoemt het mogelijke verbeterpunt, waar je het in je e-mailmarketing wilt testen en je geeft per onderdeel van het PIE-model een score. Het ziet er dan ongeveer zoals onderstaand uit:

Afbeelding 2: een voorbeeld van het PIE-model

#3: maak een testplan

Een testplan helpt je bij het klaarzetten van een succesvolle A/B-test. Het maken van een testplan bestaat uit drie stappen: (1) het vaststellen van de test-KPI, (2) het opstellen van een hypothese en (3) de verzendmethode bepalen. Daarna maak je de testvariant. 

Het is belangrijk dat je weet wat je test-KPI is (‘welke KPI je optimaliseert’) aangezien je anders niet weet wanneer je test succesvol is. Bovendien loop je zonder test-KPI de kans dat je naar een betekenisvol resultaat gaat zoeken in een dataset. De kans is groot dat je dan verbanden ziet die er in werkelijkheid niet zijn.

Weet je eenmaal je test-KPI, dan kun je de hypothese invullen. Een hypothese is cruciaal aangezien deze je test nauwkeurig maakt en je laat nadenken over het ‘waarom’ achter de test. Een goede hypothese geeft antwoord op de volgende vragen:

• Waar ga je testen?
• Welke aanpassing ga je testen?
• Waarom denk je dat deze aanpassing effect zal hebben?
• Wat voor effect heeft de aanpassing?

Met de onderstaande opzet stel je een goede hypothese op.

Afbeelding 3: opzet voor een hypothese

De verzendmethode is afhankelijk van wat de test-KPI en hoeveel ontvangers je per variant hebt. De mogelijkheden zijn:

• 10 procent krijgt variant A - 10 procent krijgt variant B (daarna bepaal je welke versie wint en die stuur je naar de overige 80 procent)
• 50 procent van alle ontvangers krijgt variant A - 50 procent krijgt versie variant B

De vuistregel is dat je minimaal 300 “stuks” van de KPI (dus conversies) per variant nodig hebt. Als je test-KPI bijvoorbeeld het klikpercentage is, dan heb je minimaal 300 klikken per variant nodig.

Zo bereken je het verwachte aantal ontvangers

De methode van het bereken van hoeveel ontvangers je e-mailcampagne heeft, hangt af van hoe je de test uitvoert. Wil je een A/B-test doen waarbij je de campagne eerst naar een gedeelte van je ontvangers stuurt, vervolgens de resultaten analyseert en dan de campagne naar de rest van je ontvangers stuurt? Dan hou je een verdeling aan waarbij je 10 procent van de selectie variant A laat zien en 10 procent variant B. Naar de overige 80 procent verstuur vervolgens alleen de winnende variant.

Je hebt echter niet altijd genoeg ontvangers voor deze methode. Daarom kun je ook de campagne versturen naar al je ontvangers, waarbij de helft variant A ontvangt en de andere helft variant B. Hierdoor behaal je voor de specifieke campagne niet betere resultaten, maar je leert wel je doelgroep beter kennen. Kortom, je doet kennis op die je kunt inzetten voor andere campagnes.

Meestal wil je de eerste testmethode toepassen, maar je moet wel berekenen hoeveel ontvangers je hebt per variant. Hoe bereken je dit? Stel je hebt 200.000 nieuwsbriefontvangers en twee varianten van dezelfde e-mail. Er valt altijd een deel van de ontvangers af, aangezien een e-mail niet altijd aankomt. In ons voorbeeld komt 99 procent van de e-mails wel goed aan. Daarnaast is het klikpercentage 3 procent. Met deze gegevens kun je het aantal ontvangers per variant berekenen zoals in het onderstaande voorbeeld:

Daarna ga je aan de slag met het maken van een variant. Zorg dat je in de UTM-codes meegeeft wat versie A is en wat versie B is, want hierdoor kun je eenvoudig statistieken doormeten in Google Analytics.

Tip: download deze invulsheet en bepaal eenvoudig de juiste testmethode

#4: testen

Nu ben je klaar om te testen. Welke verdeling je ook hebt, het is belangrijk dat de ontvangers willekeurig een variant ontvangen. Anders is de test niet zuiver.

Wij zijn partner van e-mailmarketingsoftware Copernica. Deze software biedt veel A/B-testmogelijkheden. Bij andere software kan het meer handwerk zijn om het in te stellen. Ik leg hierna wel uit hoe je dit doet met Copernica.

Zo maak je een A/B-test in e-mailmarktingsoftware Copernica
In Copernica kun je dit alles handig instellen. Dat doe je bij de derde stap van het verzenden van een bulkmailing. Bij een test waarbij beide varianten de helft van de ontvangers krijgt toegewezen, kies je voor testtype A/B-test. Je hoeft alleen nog aan te geven welke e-mail de B-variant is. Bij een 10 procent - 10 procent - 80 procent verdeling selecteer je split-run. Copernica kun je automatisch de winnende versie laten kiezen na een opgegeven tijd.

Afbeelding 4: A/B-test instellen in Copernica

Afbeelding 5: split-run instellen in Copernica

Je hebt veel werk verzet, neem een kopje koffie of thee! Het is nu een kwestie van wachten totdat je genoeg data binnen hebt.

#5: analyseer de resultaten

Dit vind ik de leukste stap, want nu kom je erachter of je testidee zich bewijst met data. Ik merk vaak dat marketeers een A/B-test analyseren door het vergelijken van cijfers. Ze zeggen bijvoorbeeld dat “B wint, omdat B vaker geopend is dan A.” Maar hoe weet je of dat dit resultaat geen toeval is?

Daarvoor analyseer je de resultaten met een statistische tool (we gebruiken in mijn team de online tool van A/B-testguide). De tool geeft twee cijfers. Dat zijn enerzijds de procentuele verbetering en belangrijker nog, de mate van zekerheid die je hebt om de verbetering toe te schrijven aan de verandering. Je bent dan zeker genoeg dat de verandering niet komt door toeval. Die zekerheid drukt de tool uit in een percentage: hoe hoger het percentage, des te meer zekerheid je hebt. In statistische termen heet dit het significantiecijfer.

Wat zeggen die percentages precies? Afbeelding 2 toont het in een handig overzicht:  

Afbeelding 6: de significantiewaarde en bijbehorende conclusies

Is je test geen winnaar? Dan kun je nog inzoomen op segmenten. Wat voor bijvoorbeeld voor mannen niet goed werkt, kan wel goed werken voor vrouwen. Het is wel belangrijk dat je per segment minimaal 300 conversies hebt zodat de conclusies betrouwbaar zijn.

#6: voer winnaars door

Deel je resultaten met de rest van het onlinemarketingteam. Bijvoorbeeld met de conversiespecialist, omdat je ontdekking bijdraagt aan de optimalisatie van de webshop. Maar ook voor SEO- en SEA-specialisten is het interessant, omdat zij zo hun zoekresultaten in Google beter kunnen afstemmen. Je optimaliseert tenslotte voor dezelfde doelgroep.Daarnaast kun je ook een omzetberekening maken waarbij je berekent hoeveel de A/B-test heeft opgeleverd. Daarmee vergroot je intern draagvlak voor de investering in e-mailmarketing.

Morgen aan de slag met A/B-testen in e-mailmarketing?

Dit is het proces om succesvolle A/B-testen uit te voeren in e-mailmarketing. Nu heb je een handleiding om te A/B-testen! Het lijkt misschien complex, maar je zult merken dat het in de praktijk meevalt. Bekijk maar eens de webinar die ik onlangs gaf over de aanpak van A/B-testen in e-mailmarketing.