ELIMINATE THE GUESS WORKvan quick fix naar structureel succes

ROEL WILLEMS

10+ jaar - digital analytics & conversie optimalisatie

Current: Senior Digital Analyst, Conversion optimization specialist - Ahold

Former: Consultant / Product manager analytics conversion - OrangeValley

consumer behaviour from a data perspective

ELIMINATE THE GUESS WORK

➤ Start van een conversie optimalisatie optimalisatie

➤ Ontwikkeling van een conversie traject

➤ Van quick fix naar structureel succes

➤ 3 key principes

START VAN EEN CONVERSIE TRAJECT

WAAROM OPTIMALISEREN?

Meer resultaat / verhogen omzet

Meer verkeer genereren

Conversie verhogen

Hoger rendement uit bestaande

kanalen

Extra kanalen inzetten

Bestaande onderdelen

optimaliseren

Nieuwe functionaliteit introduceren

CONVERSIE OPTIMALISATIE: MIDDEL

Meer resultaat / verhogen omzet

Meer verkeer genereren

Conversie verhogen

Hoger rendement uit bestaande

kanalen

Extra kanalen inzetten

Bestaande onderdelen

optimaliseren

Nieuwe functionaliteit introduceren

CONVERSIE OPTIMALISATIE MIDDELS CONTROLLED EXPERIMENTS

Conversie optimalisatieA/B testing

Controlled experiments

Multi-variate

Significantie

Validiteit

Bayesiaanse statistiek

Statistiek

P-value

Random Sample

Multi-step

Bandit testing

Full factorial

Fractional factorial

Call2action

Factor

Variation

Interaction effectEffect size

frequentistische statistiek

Split-testing

CRO

A/B/n test

Best practices

MVT

“ 93% van de de ondervraagde organisatie geeft aan in 2016 bezig te zijn met conversie optimalisatie of hiermee te willen starten;

-source: eConsultancy Conversion Rate Optimization Report 2015

MARKS & SPENCER CASE

ONTWIKKELING VAN EEN CONVERSIE TRAJECT

VOORBEELDRANDVOORWAARDEN: TEAM & TOOL

ART & SCIENCE

TAKE AWAYS

➤ Zorg dat alle kennis aanwezig is om het proces te doorlopen,

➤ houdt het team klein;

➤ Zorg dat tooling/techniek geen bottleneck is;

➤ Start met voorbereiding voor de tooling in plaats is (er is genoeg te doen);

➤ Zorg voor tooling die aansluit bij de technische infrastructuur;

➤ Wees voorbereid op verandering;

➤ Werk iteratief (agile/scrum).

VOORBEELDUITDAGING: WAAR EN WAT TESTEN?

?HOMEPAGE CHECKOUT

“ Resources, kennis en testideeën worden gezien als de grootste bottleneck…

-source: eConsultancy Conversion Rate Optimization Report 2015 & conversionXL state of the market 2016

VOORBEELDOPLOSSING: BEST PRACTICES GENOEG?

VOORBEELDCASE

VOORBEELDONTELBARE MOGELIJKHEDEN

“… optimalisatietrajecten starten vaak succesvol maar continuïteit blijkt de echte uitdaging.

VAN QUICK FIX(ES) NAAR STRUCTUREEL SUCCES

“74% of the survey respondents who reported having a structured approach to conversion also stated they had improved their sales.

-source: Econsultancy Conversion Rate Optimization Report

3 KEY PRINCIPES

VOORBEELDVAN AD HOC NAAR STRUCTUREEL SUCCES

-source: Adapted from Trochim, William M. The Research Methods Knowledge Base, 2nd Edition.

Result, but not reliable Reliable, but no result Reliable results

1. ELIMINATE GUESS WORK

VOORBEELDOPLOSSING:

> Meer onderbuik gevoel

> Meer resources

> Focus op best practices

“LET’S SEE WHAT STICKS”-METHODE

VOORBEELDAD HOC / OPINION-BASED

“Most of the world will make decisions by either guessing or using there gut. They will be either lucky or wrong.

-Suhail Doshi

VOORBEELDLUCKY OR WRONG?

VOORBEELDSTRUCTUUR & PROCES

Ad hoc Opinion-based

Testing discipline Fact-based

VOORBEELDITERATIEVE AANPAK, PIN POINT RELEVANTE ELEMENTEN

VOORBEELDOPLOSSING: KLEINE AANPASSINGEN MET GROOT EFFECT

Kan ik gebruik stimuleren door weg nemen van onzekerheid, te overtuigen of te verleiden

Kan ik het makkelijker/duidelijker maken?

Welk element is van invloed?

VOORBEELDOPLOSSING: OPBOUW VAN ITERATIEVE EXPERIMENTEN

Copy, psychologische principes, design fine-tuning

Vorm, kleur, positie, afmeting

Tonen ja/nee

2. LEARN FROM FAILURE

“➤ Only one third of the ideas tested at Microsoft improved the

metric(s) they were designed to improve;

➤ at Google, only “about 10 percent of controlled experiments were leading to business changes;

➤ Netflix considers 90% of what they try to be wrong;

➤ Etsy “nearly everything fails” and “it's been humbling to realize how rare it is to succeed on the first attempt;

➤ “No matter how much you think it’s a no-brainer, how much research you’ve done, or how many competitors are doing it, sometimes, more often than you might think, experiment ideas simply fail.” - Skyscanner.

-source: exp-platform.com Online Controlled Experiments and A/B Tests

VOORBEELDOPLOSSING: ACTION ORIENTED BIAS

➤ Meer testen betekend niet automatisch meer resultaat

➤ Doel: information discovery

-source: Andrew Anderson

VOORBEELDTESTING DISCIPLINE

VOORBEELDVERTROUW NIET OP INTUÏTIE MAAR ONDERZOEK ALTERNATIEVEN

“It ain’t what you don’t know that gets you in trouble, it’s what you know for sure that ain’t so.

-Mark Twain

VOORBEELDCASE

3. FOCUS ON EFFICIENCY

ÍOPLOSSING: SINGLE BACKLOG

Backlog

Team

Bezoek

√succes / - failure

ÍOPLOSSING: VERSNELLEN? - MEER IDEEËN?

Backlog

Team

Bezoek

√succes / - failure

ÍOPLOSSING: VERSNELLEN? - MEER RESOURCES?

Backlog

Team

Bezoek

√succes / - failure

VOORBEELDOPLOSSING: SINGLE LANE TESTING

OFHOMEPAGE CHECKOUT

VOORBEELDOPLOSSING: FOCUS OP EFFICIËNTIE …

HOMEPAGE

CHECKOUT

CATEGORIE PRODUCT

BASKET BEDANKT

√

VOORBEELDOPLOSSING: … MULTIPLE TESTING LANES

HOMEPAGE

CHECKOUT

CATEGORIE PRODUCT

BASKET BEDANKT

√

VOORBEELDCASE

VOORBEELDEFFICIENCY

TAKE AWAY

VOORBEELDOPTIMIZING THE ORGANIZATION

Eliminate the guess work learn from failure focus on efficiency

“Want to be a better marksman? Stop looking for silver bullets, improve you aiming.

Roel Willemsinfo@roelwillems.com

@roelwillems linkedin.com/in/roelwillems

VOORBEELDCONTACT