o guia do teste a b

O Guia doTeste A/B

A B

O Guia do Teste A/B 2

ndiceIntroduo .................................................................................................................................4O que so Testes A/B e como escolh-los .............................................................................5

Por que os Testes A/B so eficientes ..........................................................................................6Onde preciso tomar cuidado ......................................................................................................7O que testar.......................................................................................................................................8

Na prtica: o impacto de um teste A/B simples da Resultados Digitais ..............................9Quando saber a hora de parar um teste ................................................................................12

Intervalo de confiana o grande heri (ou vilo) .....................................................................13Como funciona o intervalo de confiana na prtica e por que voc deve tomar decises apenas quando tiver dados relevantes......................................................................................14

Processo para realizao de Testes A/B ..............................................................................17Passo 1. Encontrar oportunidades de otimizao e priorizar ...............................................18Passo 2. Modelagem e execuo...............................................................................................23Passo 3. Registro dos aprendizados e implementao ........................................................26

12 Boas prticas a seguir na hora de fazer um teste A/B ....................................................28Faa o bsico - conhea seu pblico.........................................................................................28Seja Data-Driven - louco por dados ............................................................................................29


Defina um intervalo de confiana adequado ...........................................................................30Estabelea uma meta para o sucesso do experimento .........................................................31Teste uma varivel por vez ..........................................................................................................32Teste as duas verses simultaneamente .................................................................................33Deixe clara sua proposta de valor ..............................................................................................34Faa LPs especficas para cada campanha (e cada termo) .................................................35Faa benchmarking .......................................................................................................................36Pense na converso antes da beleza ........................................................................................36Comece pelos quick-wins / low-hanging fruits ........................................................................37Documente tudo! ...........................................................................................................................37

Tutorial: Como fazer no Google Analytics .............................................................................39Defina porcentagem de trfego ..................................................................................................41

Tutorial: Como fazer no Optimizely .......................................................................................46Estudos de caso ......................................................................................................................54

Rock Content .................................................................................................................................54Resultados Digitais ........................................................................................................................56Resultados Digitais ........................................................................................................................58Resultados Digitais ........................................................................................................................60

4IntroduoUm objetivo que temos sempre que produ-zimos algum material ajudar sua empresa a crescer de alguma forma. No entanto, crescer sempre pensando em volume fica mais difcil ao longo do tempo e trabalhar de forma mais eficiente um dos cortes de caminho que pode ajudar muito.

Muitas vezes simples mudanas no site e Landing Pages podem dobrar os resultados em Leads e vendas.

Pensando nisso, criamos este Kit sobre teste A/B! Nosso objetivo com ele ser trazer uma introduo consistente ao tema, passando por conceitos, boas prticas, tuto-

riais e estudos de caso de nossos clientes e da prpria Resultados Digitais.

Mostraremos de forma prtica como qual-quer um pode comear hoje mesmo a por suas hipteses prova e aumentar os resultados a partir do mesmo nmero de visitantes.

Como complemento a este eBook, prepa-ramos tambm uma calculadora de teste A/B, que far toda a parte matemtica do experimento, deixando mais tempo para voc se preocupar em planejar e executar os testes.


O que so Testes A/B e como escolh-losAlgo que devemos ter sempre em mente que, embora existam as recomendaes e boas prticas, cada empresa tem o seu prprio pblico com caractersticas peculiares, e que somente com testes possvel ter certeza de fato de qual abordagem funciona melhor.

Um dos testes mais conhecidos e eficientes o chamado Teste A/B, que consiste em dividir o trfego de uma determinada pgina em duas verses: a atual e uma desafiante, com modificaes para ento medir qual a verso que apresenta maior eficincia.

O Guia do Teste A/B

Por que os Testes A/B so eficientesOs Testes A/B so ferramentas excelentes porque oferecem um feedback real de mercado, mensurado com preciso. No uma pesquisa simples em que algum pode responder uma coisa e fazer outra na prtica: so fatos consolidados.

Como as diferentes verses so distribudas aleatoriamente em um mesmo espao de tempo, no h o risco de fatores externos (como uma palestra ou um eventual link em outro site) influenciarem a taxa de converso. Tudo isso torna o resultado muito mais confivel.


Onde preciso tomar cuidadoJ mencionamos no nosso blog que fazer Testes A/B um dos conselhos de especialistas que deve ser ignorado por iniciantes em marketing digital. Continuamos acreditando nessa opinio, e isso se deve basicamente a dois motivos.

O primeiro a necessidade de um bom volume de acessos para que o teste seja vlido estatisticamente, coisa que poucas empresas iniciantes em Marketing Digital conseguem ter. A falta de volume pode levar a decises prematuras e incorretas.

E o segundo que, embora nos acostumemos a ver palestras e estudos de caso mostrando melhoras na converso como se fossem algo simples, a verdade que difcil encontrar variveis que realmente fazem a diferena nos nmeros. Quase nunca relatado o que acontece com bastante frequncia: os experimentos que fracassam, aqueles em que a diferena na converso entre uma verso e outra no pode ser considerada relevante.

Para algum que ainda tenha muitas coisas mais bsicas e provadas para fazer no marketing digital da sua empresa, pouco provvel que trabalhar com otimizaes tragam tanto resultado como o terminar de montar a sua estrutura.


O que testarDe maneira geral, praticamente todos os elementos presentes em uma pgina podem, ou no, alterar a taxa de converso. Contudo, existem alguns que costumam, segundo nossos testes, ser mais sensveis e costumam alterar mais os resultados de converso de uma determinada pgina. So eles:

Headline (ttulo-destaque) da pgina; Call-to-action (botes para converso); Imagens ou vdeos; Descries da oferta; Tamanho e campos do formulrio; Indicadores de confiabilidade (testemunhos, certificados, etc.).

Claro que os testes no se limitam a isso: possvel alterar a posio dos elementos, cores ou mesmo aspectos da prpria oferta (15 ou 30 dias de teste gratuito em um software, por exemplo). No entanto, os itens que apresentamos anteriormente so bons pontos de partida.


Na prtica: o impacto de um teste A/B simples da Resultados DigitaisPara voc ver na prtica como um teste A/B pode trazer bons resultados, compartilhamos aqui um dos primeiros testes que fizemos na Resultados Digitais.

Gostaramos de descobrir uma forma sustentvel de aumentar a taxa de converso de nossas Landing Pages, especialmente atravs de trfego vindo do Google Adwords, j que em geral so pessoas que ainda no conhecem nossa empresa e nossos materiais.

Seguindo uma das possveis alavancas mencionadas acima, pensamos em simplificar um pouco o formulrio. Como j falamos em um post anterior no blog, o tamanho do formulrio e a sensibilidade da informao pedida em alguns campos pode afetar bastante a taxa de converso.


Com isso, decidimos fazer um teste sugerido por um de nossos leitores (Thiago de Mendona) nos comentrios do nosso webinar de Landing Pages: retirar (apenas) o campo telefone de contato. Essa no uma informao essencial para ns quando os Leads ainda esto no incio da relao conosco, como aqueles que baixam um eBook ou assistem a um Webinar gratuito.

o tipo de dado que podemos pedir mais frente, quando o Lead fizer o pedido de Trial do nosso software, por exemplo.

Nosso teste utilizou a Landing Page at ento atual do eBook Marketing no Facebook, em que o nmero de telefone era obrigatrio, e uma outra em que no pedimos essa informao.

Os resultados falam por si s:


Para muitas pessoas difcil acreditar que remover um nico campo do formulrio seja capaz de aumentar as converses em 167%. A taxa mdia de converso da pgina foi de 20,18% para 53,90%.

Pense que para cada R$ 100 investidos em mdia anteriormente, agora conseguiramos o mesmo resultado investindo apenas R$37,45, ou ento teramos quase trs vezes esse resultado se investssemos o mesmo valor.

Por isso, sempre que estiver na dvida sobre o impacto de qualquer detalhe na sua Landing Page, no deixe a opinio prpria prevalecer: faa um Teste A/B e deixe que os nmeros falem por voc.

Para muitas pessoas difcil acreditar que remover um nico

campo do formulrio seja capaz de aumentar as converses em 167%


Quando saber a hora de parar um testeComo vimos, testes A/B so muito teis para identificar se variaes em uma pgina podem trazer melhores resultados. Sejam essas variaes do texto, das imagens, do layout ou mesmo campos de um formulrio, o resultado final muitas vezes surpreendente.

Embora durante o teste j seja possvel mensurar resultados parciais e perceber que h uma diferena de resultados entre as variaes, um erro j tomar essas informaes como verdadeiras. Muitas vezes os resultados parciais podem no representar o comportamento real de toda a populao e o teste no confivel estatisticamente.


Intervalo de confiana o grande heri (ou vilo)

Imagine que voc queira testar se uma moeda ou no tendenciosa para jogar cara ou coroa. Teoricamente, se voc jogar essa moeda 200 vezes, metade das vezes dever ser cara, e metade coroa, certo?

Voc ento resolve fazer o teste e observa que tirou cara 116 vezes, ou 58% das vezes. Com esse resultado, voc pode dizer, com confiana, que a moeda tendenciosa?

O chamado intervalo de confiana indica a probabilidade que a variao entre o controle (50% cara) e o experimento (58% cara) de fato representarem toda a populao, ao invs de um segmento tendencioso (e portanto irreal) escolhido por mera casualidade.

No exemplo que demos, o resultado de 58% cara possui um intervalo de confiana de aproximadamente 90%, ndice considerado baixo estatisticamente. Significa dizer que existe 90% de chance de os resultados representarem de fato a realidade e no a influncia de algum acaso.


Como funciona o intervalo de confiana na prtica e por que voc deve tomar decises apenas quando tiver dados relevantesNos testes A/B acontece o mesmo cenrio que vimos acima: h uma pgina com uma determinada taxa conhecida de converso (controle), e outra pgina com algum elemento que foi substitudo ou alterado (experimento), que queremos testar e descobrir se a taxa de converso ou no maior.

Quando voc conduz um teste em uma Landing Page, por exemplo, e conclui que a experincia foi positiva mesmo com um baixo intervalo de confiana, deixa margem para que a alterao v ao ar sem que os resultados se mantenham no patamar esperado. Pior ainda, pode ter informaes menos completas ou em volume menor a troco de nada.


Por exemplo, considere que resolvemos testar uma Landing Page com um formu-lrio sem o campo de telefone e obtivemos o seguinte resultado:

Neste cenrio, o teste no alcanou uma diferena considerando 95% de confiana - no houve relevncia estatstica.

Se considerarmos o teste como completo, possvel que nas novas Landing Pages, sem o campo de telefone no formulrio, a taxa de converso seja mais prxima do que era observada anteriormente e sua empresa perde uma informao interes-sante sem ganhar um volume maior de converses em troca.


J se a diferena entre as taxas de converso for ligeiramente maior, j possvel definir um vencedor. No caso abaixo, com 99% de confiana:

Neste caso, a Landing Page sem o campo de telefone no formulrio possui pratica-mente 100% de chance de superar a pgina com o mesmo campo.

Obs.: Os resultados acima e ao lado foram calculados com nossa Calculadora de Teste A/B. Voc pode acess-la gratuitamente neste link.


Processo para realizao de Testes A/BExistem diversas formas e processos de conduzir um teste A/B. Com uma breve pesquisa no Google, possvel encontrar diversas metodologias, porm nem todas so simples para quem est comeando.

Ns da RD preferimos sempre manter o processo simples e bem documentado para ganhar agilidade e conseguir gerenciar um volume muito mais alto de testes simultaneamente, e garantir (se no aumentar) a qualidade do trabalho.

Sendo assim, resumimos aqui em 3 passos nosso processo, os quais voc pode seguir para comear a realizar testes:


Passo 1. Encontrar oportunidades de otimizao e priorizarLevantar ideias de testes um passo com complexidade extremamente varivel. Para quem nunca realizou testes, encontrar oportunidades pode ser muito fcil, pois existem diversas otimizaes em locais que sabemos que podem ser melhorados.

Essa achismo vlido neste momento e pode inclusive partir de um brainstorming com a equipe para levantar ideias de melhorias em qualquer mbito: pgina inicial do site, pgina de descrio de produto, pgina de preos, blog, template de email, etc.

medida em que os testes vo acontecendo, essas oportunidades no ficam mais to bvias e ento necessrio utilizar outras formas, como:

Pesquisa: Leia blogs que falam de otimizao de converso e procure estudos de caso e exemplos que faam sentido para sua empresa;

Benchmarking: Converse com empresas parceiras que tambm realizam testes (pode contar com a RD para isso) sobre os testes que voc est executando e pergunte o que tem funcionado ou no;


Anlise do trfego existente: A ferramenta de Analytics da sua empresa uma fonte valiosssima de informaes para encontrar ideias de teste A/B, basta entender o trfego e saber identificar os gargalos.

Falando um pouco mais sobre a anlise do trfego e j pensando em priorizao, muitas pessoas pensam que o grosso do trfego na pgina inicial do site ou blog, porm quando olhamos o relatrio do Google Analytics vemos que no bem assim: preciso levar em conta os templates, pginas que, mesmo diferentes, possuem a mesma estrutura.

Exemplo: um blog comum possui no mnimo trs templates: o template da pgina inicial, da pgina de categorias e da pgina de posts. Na maioria das vezes, se somarmos os acessos de todos os artigos do blog (template de post), o nmero de acessos vai superar o da pgina inicial (template da pgina incial).

Ou seja, podem existir grandes melhorias a serem feitas primeiramente na estrutura que ir afetar todos os posts e, pelo trfego ser maior, conseguir atingir relevncia estatstica de forma mais rpida.


O exemplo anterior se torna ainda mais sensvel em um e-commerce: otimizar a pgina de produtos muitas vezes melhor do que otimizar a pgina inicial, pois na pgina de produtos que acontece a compra.

Sobre a priorizao, podemos quebr-la em trs variveis fundamentais que, quando combinadas, nos do um framework de priorizao. As variveis so:

Potencial: Analisar a taxa de converso atual da pgina e pensar o quanto ela pode aumentar com a hiptese levantada. difcil falar em bom-senso, mas aqui necessrio, pois no podemos assumir com facilidade qual ser o impacto do teste sem antes realiz-lo, exceto quando temos alguma base de comparao. Portanto, pense no impacto como aumentando a converso em 20%, X Leads/vendas a mais sero gerados em um determinado perodo. Voc pode inclusive dar notas (de 0 a 10, por exemplo) para as ideias de testes para identificar aquelas com maior potencial de alavancagem;

Importncia: O quo importante para a empresa ser esse teste? Ele ter impacto direto nos resultados em vendas ou alguma mtrica intermediria? Por exemplo, a importncia para um e-commerce em aumentar a converso na pgina de produto ter impacto direto nas vendas. Neste caso mais importante para o negcio do que um teste que ser feito na pgina de recrutamento de candidatos a uma vaga;


Facilidade: Aqui voc pode pensar em custo. Se voc tem que decidir entre dois testes de mesmo potencial e importncia, porm um custa 20 horas de um programador e outro custa 2 horas, qual voc vai priorizar? Claro que existe um balano e um teste no deve ser descartado apenas por essa varivel, porm existem melhorias mais fceis de serem aplicadas.

Cruzando essas trs variveis com as ideias de testes levantadas, voc chega em um framework de priorizao como o do exemplo abaixo (nmeros fictcios):

Teste Potencial Importncia Facilidade Nota (total)

Remover campo telefone de Landing Page de eBook

10 10 10 30

Adicionar depoimentos de clientes na pgina de preos

7 9 6 22


Teste Potencial Importncia Facilidade Nota (total)

Criar um template novo de email 8 8 7 23

Mudar o processo de check-out do e-commerce

10 10 2 22

Neste cenrio, j possvel tomar uma deciso sobre o que testar primeiro: remover o campo de telefone da Landing Pages.

Uma questo interessante que surge no framework relativo s tarefas que so mais fceis que as outras, ou no. A princpio, adicionar depoimentos de clientes pgina de preos mais barato que mudar o processo de check-out, porm os dois se equiparam no total. A deciso se vale a pena o custo dado que o impacto (potencial) ser maior.

Feita a priorizao, partimos para uma etapa muito importante: modelagem e execuo.


Passo 2. Modelagem e execuoA modelagem especialmente importante pois, caso no seja feita corretamente, pode gerar um retrabalho muito grande. Se isso acontecer, o custo que era X pode acabar dobrando, ou pior ainda, fazer com que voc no consiga mensurar os resultados no final, perdendo assim, alm de dinheiro, tempo.

nesta etapa que vamos desenhar todo o experimento para garantir que ele tenha um objetivo claro, seja bem executado e medido. comum, na modelagem, descobrirmos que um teste que parecia fcil na verdade bem complicado.

Alm disso, essa modelagem acaba servindo de histrico no futuro pois contm todas as informaes mais importantes do teste. Se voc for realizar um teste parecido, saber exatamente qual o passo-a-passo a seguir, quais as dificuldades que surgiram, recursos necessrios e tambm os resultados.

Na Resultados Digitais ns usamos para a modelagem um documento simples do Google Drive contendo algumas informaes:


Hiptese: Uma frase que resuma o teste a ser feito. Tente seguir um padro aqui para conseguir encontrar com mais facilidade os testes no futuro. Um padro bom a seguir o Mudando isso aqui, aumentaremos esta mtrica em tanto. Exemplo:

Removendo o campo telefone do formulrio das Landing Pages, aumentaremos a taxa de converso em 50%.

Mtricas a serem acompanhadas: So as mtricas que definiro o sucesso ou fracasso do teste. No caso acima, para conseguir a taxa de converso, as mtricas acompanhadas sero Visitantes e Leads de cada variao da pgina.

Pessoas envolvidas: Quem responsvel por qu? Exemplo: Fulano ser o dono do teste, responsvel por model-lo, acompanh-lo e cobrar os demais envolvidos e Beltrano ser o responsvel tcnico por remover o campo do formulrio. Neste experimento, como algo fcil de fazer com a ferramenta correta, pode at ser todo conduzido por uma pessoa s.

Ferramentas envolvidas: Quais ferramentas sero usadas para o teste? No exemplo, RD Station (para criar as duas Landing Pages) e Google Analytics (conduzir o teste A/B e fornecer os resultados).

Workflow: Qual o passo-a-passo para implementao? Exemplo: 1. Criar Landing Page no RD Station com telefone no formulrio;2. Criar Landing Page no RD Station sem telefone no formulrio;3. Caso ainda no tenha feito, criar uma meta de converso no Google Analytics para saber quantos Leads foram gerados em cada variao: sem essa etapa, o teste


no valer de nada, pois voc no ir saber qual variao teve a melhor converso - por isso a importncia da modelagem;4. Criar o experimento no Google Analytics e pegar o cdigo fornecido;5. Colocar o cdigo fornecido pelo GA no RD Station;6. Iniciar experimento.

Acompanhamento: Durante quanto tempo o teste ficar no ar? bom tambm, alm do tempo, olhar quantos visitantes dever ter em cada variao para atingir um nvel de confiana satisfatrio. Na nossa Calculadora de Teste A/B voc pode descobrir esse nmero.

Resultados: A hiptese foi validada? Olhe novamente o primeiro tpico do documento e veja se o resultado superou o que voc levantou como sendo a hiptese do teste. Anote aqui as mtricas finais do experimento, aquelas que voc colocou como sendo as mtricas a serem acompanhadas e marque tambm se o teste foi um sucesso ou se falhou.

Aprendizados: Mais do que melhorar uma pgina, necessrio saber por que isso aconteceu. No exemplo que usamos, fcil descobrir o motivo: as pessoas consideram o telefone um campo sensvel e tm receio de fornec-lo, pensando que podero receber uma ligao indesejada a qualquer momento. Sem esse campo, no h esse atrito.

Otimizaes: Houve ainda alguma ideia que surgiu a partir desse teste? Por exemplo, se voc percebe que removendo o campo telefone a converso aumenta, por que no


revisar os outros campos e ver quais so realmente necessrios ou sensveis a ponto de valer realizar outro teste?

Feita a modelagem, agora colocar a mo na massa e seguir tudo o que foi levantado na etapa anterior. O principal foco aqui quanto a ateno, para implementar o experimento exatamente conforme o modelado.

Passo 3. Registro dos aprendizados e implementaoAps finalizar o teste, vem a etapa essencial para o crescimento o aprendizado.

Volte no documento onde foi modelado o teste e preencha os resultados, aprendizados e otimizaes.

Como dito anteriormente, saber por que o experimento funcionou ou fracassou igualmente importante ao resultado dele. Se no sabemos o que fez o experimento


funcionar, no conseguimos repetir. Se no sabemos o que fez o teste dar errado, no podemos melhor-lo.

importante frisar que, mesmo se uma hiptese no for atingida (e o teste for considerado falho), o resultado ainda pode ser bom. Por exemplo, se a hiptese era que, removendo o campo telefone, a converso aumentaria em 50% e na verdade ela aumentou apenas 30%, o teste no pode ser considerado ruim. 30% um aumento grande e, mesmo tendo falhado, a remoo do campo ainda pode ser implementada em todas as Landing Pages, pois a converso ir aumentar.

Nesse caso, dizemos simplesmente que o teste foi mal modelado e, apesar de ter falhado, o resultado foi bom e deve ser implementado nas outras Landing Pages.


12 Boas prticas a seguir na hora de fazer um teste A/B

Faa o bsico - conhea seu pblicoTodo produto, servio ou contedo sero consumidos por algum. Conhecer esse algum o primeiro passo para voc desenhar a sua estratgia de otimizao de converso.

Mapear a jornada de compra dessa pessoa ir lhe dizer como ela compra, por que ela compra e quando ela compra. Uma vez feita essa anlise prvia, temos o que preciso para pensar nas ofertas que gerem mais valor para esse grupo de usurios.


Seja Data-Driven - louco por dadosMarketing digital de alto nvel no tem espao para opinies pessoais. Por isso, a opinio do seu chefe, do seu vizinho ou a sua prpria opinio no tem valor se no forem baseadas em experimentao. Quando algum tiver uma opinio sobre o que melhorar, a sada ser sempre testar.


Defina um intervalo de confiana adequadoQuando trabalhamos com estatstica, precisamos sempre estabelecer um nvel de confiabilidade. Na prtica, se falamos que o ndice de confiana de uma alterao ser melhor de 80%, estamos dizendo que a cada 10 aparies para um usurio, em mdia ela ser realmente melhor em 8 delas.

Nossa indicao trabalhar com 95% ou 99% de intervalo de confiana. Esse intervalo muito importante pois ele um dos principais fatores que influenciam o volume de visitas que sero necessrias para provar que uma pgina realmente melhor que outra.


Estabelea uma meta para o sucesso do experimentoEsta uma boa prtica que til de duas formas. A primeira que ao determinar o ganho esperado com aquela melhoria, possvel fazer um balano de priorizao melhor. Se for necessrio alocar muitas pessoas para um ganho pequeno, talvez nem valha a pena fazer este experimento.

A segunda que esta expectativa de melhoria tambm um dos parmetros que ajudam a determinar o volume de visitantes naquela pgina para provar que ela realmente trouxe um ganho. Quanto maior a expectativa de melhoria, menor a quantidade de visitantes necessria para provar esse ponto (e mais rpido o experimento).


Teste uma varivel por vezAo testar apenas um elemento por vez, voc garante que os impactos gerados pela mudana realmente tenham vindo daquele elemento. Por isso, mesmo que voc saiba que diversas mudanas podem gerar melhorias, quebre a sua hiptese em vrias fases, e teste uma de cada vez para evitar que algumas delas seja mal interpretada.

Um exemplo simples: quer tirar 3 campos do formulrio? Tire um de cada vez e mea o impacto. Talvez s um deles faa realmente diferena na conveso.


Teste as duas verses simultaneamenteSe voc monitora os seus resultados com frequncia, j deve ter percebido o quanto fatores externos podem influenciar no seu negcio. Para evitar que esses fatores influenciem o seu resultado, o ideal sempre fazer testes simultneos.

Por exemplo, muitas empresas rodam a verso alterada por um perodo de tempo e comparam com o resultado histrico da pgina. E na prtica sabemos que algumas semanas podem trazer resultados muito diferentes de outras devido sazonalidade, possveis feriados, poca do ano, situao do mercado em si, etc.


Deixe clara sua proposta de valorD mais motivos para sim do que para o no. O valor que voc precisa entregar para as pessoas tem que ser maior do que o preo do seu produto ou servio. Use o seu DNA de vendedor, mostre tudo que for necessrio para que o visitante conhea o seu produto e o compre.

De novo: tudo o que for necessrio e nem uma vrgula a mais. No adianta escrever um eBook sobre uma caixa de fsforo. Produtos simples e de baixo custo exigem informaes simples e rpidas. Mas se o seu produto for inovador e de alto valor agregado, a sim voc precisar oferecer informaes mais detalhadas sobre ele.


Faa LPs especficas para cada campanha (e cada termo)No caso das campanhas, ainda existe outra dica valiosa. As chamadas dos anncios no Google Adwords e dos destaques na Pgina de Converso devem bater. As razes so simples:

Ao clicar no anncio no Google, o usurio vai encontrar uma pgina que cobre exatamente o assunto pelo qual ele se interessou, mantendo uma experincia fluida e real. Alm disso, voc ir pagar menos por Custo-por-Clique (CPC) uma vez que um dos fatores que influenciam no clculo desse custo a qualidade da sua pgina de converso.


Faa benchmarkingExistem empresas fazendo experimentos de otimizao de forma cientfica, mas muitas outras praticamente no sabem o que esto fazendo ou o que um teste A/B.

O mercado uma grande fonte de ideias, e essencial que voc esteja sempre de olhos abertos para encontrar novos testes que faam sentido para o seu negcio, mas cuide para no replicar erros alheios sem o devido questionamento.

Pense na converso antes da belezaO Brasil o pas dos sites mais bonitos do mundo. Isso um grande problema pois a esttica no est associada funcionalidade, que o que realmente importa nos sites. Deixe a pintura de Monet para pendurar na parede e acesse o Google, a Wikipedia, Facebook ou Ebay. Eles iro te mostrar o que realmente importa.


Comece pelos quick-wins / low-hanging fruits comum quando vamos comear a testar mudanas no nosso site, querer ir direto naquela grande mudana, que voc acredita que ir dar muitos resultados. No entanto, nossa orientao para comear pela outra ponta, buscando oportunidades fceis e de curto prazo.

Isso porque para quem est comeando, h sempre uma srie de pequenas mudanas que podem ser implementadas praticamente sem custo, e que juntas traro resultados rapidamente.

Documente tudo! a parte chata, ns sabemos. Sabemos tambm que essa obrigao implica em muito mais tempo necessrio para fechar um experimento, mas sem dvidas voc pode v-lo como um investimento.


medida que o seu time comece a rodar experimentos em maior volume, saber o que j foi feito, como foi feito e os resultados trazidos importantssimo para sabermos o que otimizar e para evitar a repetio de erros j cometidos.

Gostando do material? Compartilhe esse ebook nas suas redes sociais!


Tutorial: Como fazer no Google AnalyticsPara comear agora a por em prtica os conhecimentos passados nesse eBook, vamos mostrar um passo-a-passo para a execuo de um teste A/B usando o Google Analytics.

Para criar o seu primeiro experimento, comece por logar na sua conta e, no menu da esquerda, clique em comportamento. Em seguida clique em experimentos, como na figura ao lado.

Em seguida clique no boto Criar expe-rimento. Feito isso, a primeira coisa que precisamos criar um objetivo.


Esta etapa extremamente importante pois o que Google vai considerar como sucesso na sua pgina. Por exemplo, numa Landing Page, o grande objetivo a converso do visitante em Lead.

Por isso, quero medir quantas pessoas pessoas chegaram na pgina e quantas preencheram o formulrio, clicaram no boto e foram direcionados para a pgina de agradecimento. Nesse caso, vamos considerar como objetivo alcanar a pgina de agradecimento.


Defina porcentagem de trfegoD um nome para ele, um objetivo e a porcentagem em que voc deseja dividir o trfego: 50% far com que metade dos visitantes seja direcionado para a pgina A, e a outra metade para a pgina B.

Esta proporo depender do seu objetivo com o experimento e do seu volume de visitantes.

A opo 50/50 normalmente utilizada em pginas que no tem um trfego muito grande, e por isso precisam usar todo o volume de visitas disponvel para o experimento.

Pginas com grande volume de visitas no precisam separar todo o seu trfego para o experimento e podem, portanto usar opes como 10/90, 20/80, 30/70. Isso importante, pois sempre h o risco de o experimento apresentar um resultado pior que a verso original.

Ao separar apenas 10 ou 20% do trfego para o experimento, voc garante que em caso de desempenho pior, grande parte dos resultados no ser afetada/prejudicada.


Para esse exemplo, vamos simular um experimento onde mudamos apenas a cor do boto da nossa Landing Page. Para isso, criamos uma pgina nova com o novo boto e vamos cham-la de Variao 1. A imagem da esquerda a original, enquanto a da esquerda a variao.


Nessa prxima etapa voc dever colocar os endereos das pginas que deseja usar como teste A/B.


O prximo passo inserir o cdigo javas-cript no seu site. O prprio Google j d as instrues para isso e checa se o cdigo foi colocado corretamente. Tambm possvel inserir esse cdigo atravs do Google Tag Manager. Veja o tutorial sobre como usar o Google Tag Manager.

Tambm possvel inserir esse cdigo nas Landing Pages criados no RD Station. Basta copiar o cdigo como na imagem abaixo e seguir este tutorial.


Ao finalizar e rodar o experimento, sempre use a URL da pgina original. O Google ir direcionar sua audincia automtica e aleatoriamente para uma das duas verses.

O prximo passo esperar os resultados. O Google Analytics demora alguns dias para mostrar os primeiros resultados. Mas ao clicar no nome do experimento, possvel ver a pgina vencedora e a probabilidade de variao de ser melhor que a verso original.

Agora s acompanhar as estatsticas e avaliar o desempenho das duas verses.


Tutorial: Como fazer no OptimizelyO Optimizely uma ferramenta muito boa para a realizao de testes A/B (e muitos outros), e o plano gratuito mais do que suficiente para a necessidade da grande maioria das empresas. E ela to boa assim por 3 simples motivos:

extremamente fcil editar mudanas, sendo a maioria delas possvel no modelo drag and drop;

Ela faz sozinha os clculos de referencia estatstica para o intervalo de confiana que voc escolher;

Voc facilmente pode fazer testes simultneos, com a possibilidade de escolher a proporo de trfego que ser direcionado para cada pgina.


Para exemplificar, vamos usar a Landing Page que usamos para oferecer avaliaes gratuitas de marketing:

V em sign up e crie uma conta para a sua empresa

Aps o login, voc entrat em um painel com todos os seus experimentos. Para criar um novo clique em New experiment.


Um pop up ir aparecer pedindo para voc fornecer um nome e uma URL para a execuo do experimento.

Feito isso, voc poder visualizar a URL esco-lhida, dentro do painel de edio do Optimi-zely. Passe o seu cursor pelos elementos da pgina para entender como a ferramenta separa cada caixa do seu site.

(Nossa hiptese para essa Landing Page de que o Ttulo e Subttulo da pgina no esto transmitindo de forma adequada o valor que queremos passar, e por isso vamos troc-lo.)

Clique com o mouse na caixa que voc deseja alterar e vo aparecer as opes de edicao da ferramenta.


Existem vrias opes, para alterar textos, fontes e tamanhos, remover ou alterar cones e imagens, reposicionar caixas e outras mais. Lembre-se de fazer uma alterao por teste como falamos nas boas prticas. No nosso caso alteraremos somente o ttulo da Landing Page.

Edite a pgina de acordo com a hiptese criada, e quando terminar nos resta 3 coisas a fazer: definir a meta, alocar o trfego e definir a significncia estatstica.


Definir metas, ou seja, vamos definir o que vai ser medido para fazer a comparao de resultados. Para isso, clique no cone de uma bandeira, no canto superior direito, denominado Set up Goals. Se for a sua primeira vez no programa, voc ter de criar uma nova meta em create new goal.

Em what to track voc vai escolher se o objetivo a ser medido um visualizao de pgina (pageview), um clique (click) ou um custom evento personalizado (event). No nosso caso, como se trata de uma Landing Page, nossa meta o clique no boto. Nesta etapa no Google Analytics definimos que o objetivo era chegar na pgina de agradeci-mento pois no to simples medir o clique no boto.


Na prxima tela voc ver a sua pgina, e basta clicar sobre o elemento que define a meta para que est seja configurada, e em seguida aperte em salvar (save).

A configurao inicial da ferramenta j de alocar o trfego meio a meio. No entanto muitas vezes arriscado mandar metade do seu trfego para uma pgina que voc no sabe o desempenho, por isso muitas vezes interessante comear com um volume mais baixo. Para alterar clique em option e em seguida em traffic allocation.


Por fim, clique no boto Start Experiment para dar inicio ao experimento. Voc ser redirecionado para o seu painel de experi-mento. Uma vez a, clique em Settings. Role a pgina um pouco e voc ver o statistical significance, onde voc definir a sua signi-ficncia estatstica.

Logo acima, voc ver o Script que deve ser colado na sua pgina, para dar permisso ao Optimizely de alter-la.

Se voc usa o RD Station, basta inserir esse Script na sua Landing Page. No editor de Landing Page clique em aparncia, e na parte Javascript HEAD, cole todo o contedo do Script fornecido pelo Optimizely.


Pronto agora seu teste A/B est configurado, e para acompanh-lo basta voltar ao painel de experimentos, clicar no experimento em questo e no lado direito, entra em results para acompanhar os resultados.


Estudos de caso

Rock Content aumentou em 37,5% a abertura de um email

hiptese

Ao direcionar o texto do assunto do email ao contexto do segmento ir receb-lo (agncias), a taxa de abertura ir aumentar em 30%.

variaes

Assunto controle: [EBOOK GRATUITO] SEO - O guia definitivo da Rock Content Assunto variao: [EBOOK GRATUITO] Sua agncia est na 1 pgina do Google?


resultados

Controle: Abertura 23,2% | CTR 19,6% Variao: Abertura 31,9% | CTR 22,1%

aprendizado

O principal aprendizado deste teste foi provar a eficcia de direcionar o texto segmentao que ir l-lo. No caso, como os destinatrios eram agncias, chamar a ateno para isso no assunto do email chamou a ateno para a abertura.


Resultados Digitais aumentou o CTR de um email em 24%

hiptese

O call-to-action do template controle fica under the fold, ao final de todo o texto, e varia entre 15% e 20%. Movendo o call-to-action para cima, o CTR (# cliques / # aberturas) ir aumentar em 20%.

variaes

Controle (Imagem ao lado)


Variao (Imagem ao lado)

resultados

CTR do template Controle: 16,96% CTR do template Variao: 21,07%, aumento de 24,28%

aprendizado

Apesar do template ter mudado bastante, provamos que mover o call-to-action para cima trouxe um aumento significativo na quantidade de cliques.

Nossa suposio foi de que, facilitando a ao, a tomada de deciso acontece mais rpida e o Lead que no leria todo o texto, nem rolaria a tela, pde ter acesso ao material de forma mais rpida.


Resultados Digitaisaumentou em 40% a converso no scrollbox do blog

hiptese

Usar o scollbox do lado direito da pgina ir aumentar a converso em 40%.

variaes

Mesmo scrollbox, aparecendo 50% das vezes no lado direito e 50% no lado esquerdo.


resultados

Lado direito (controle - verso A): 0,87% de converso Lado esquerdo (variao - verso B): 1,26% de converso -> 44,82% de aumento

aprendizado

Esse experimento foi o tpico teste que surgiu da dvida que tivemos ao implementar o scrollbox: de que lado colocamos?.

A partir dessa dvida, modelamos o experi-mento, implementamos e decidimos por deixar o scrollbox apenas no lado esquerdo.

O principal aprendizado foi: est com dvida? Teste!


Resultados Digitaisaumentou 58% a taxa de converso de uma Landing Page

hiptese

Alterar o ttulo da Landing Page para uma expresso que transmita maior percepo de valor ir aumentar a taxa de converso em 10%.

variaes

Controle (Imagem ao lado)


Variao (Imagem ao lado)

resultados

Controle: 14% de converso Variao: 24% de converso, aumento de 58%

aprendizado

A melhoria alcanada foi vigorosamente superior nossa prpria hiptese. Esse fato somente nos refora a ideia de que a comunicao da oferta tem um grande impacto na percepo de valor do usurio.

Levamos esse aprendizado conosco para muito alm da otimizao de Landing Pages, tendo conscincia do poder de saber escrever ttulos e sub-ttulos que atraem cliques e conquistam visitantes.

Resultados Digitais

A Resultados Digitais a empresa lder no Brasil em plata-forma de automao de marketing e gesto de marketing digital. Atravs de seu software RD Station, de uma metodologia prpria e de uma extensa rede de parceiros, a empresa ajuda seus cerca de 2.000 clientes a gerar mais resultados em leads e vendas para o crescimento de seus negcios.

Produzimos muito contedo educativo na rea de marketing digital, que disponibizamos em forma de posts no blog de marketing digital, eBooks e webinars gratuitos, cursos online e eventos presenciais.

IntroduoO que so Testes A/B e como escolh-losPor que os Testes A/B so eficientesOnde preciso tomar cuidadoO que testar

Na prtica: o impacto de um teste A/B simples da Resultados DigitaisQuando saber a hora de parar um testeIntervalo de confiana o grande heri (ou vilo)Como funciona o intervalo de confiana na prtica e por que voc deve tomar decises apenas quando tiver dados relevantes

Processo para realizao de Testes A/BPasso 1. Encontrar oportunidades de otimizao e priorizarPasso 2. Modelagem e execuoPasso 3. Registro dos aprendizados e implementao

12 Boas prticas a seguir na hora de fazer um teste A/BFaa o bsico - conhea seu pblicoSeja Data-Driven - louco por dadosDefina um intervalo de confiana adequadoEstabelea uma meta para o sucesso do experimentoTeste uma varivel por vezTeste as duas verses simultaneamenteDeixe clara sua proposta de valorFaa LPs especficas para cada campanha (e cada termo)Faa benchmarkingPense na converso antes da belezaComece pelos quick-wins / low-hanging fruitsDocumente tudo!

Tutorial: Como fazer no Google AnalyticsDefina porcentagem de trfego

Tutorial: Como fazer no OptimizelyEstudos de casoRock Content Resultados DigitaisResultados DigitaisResultados Digitais

o guia do teste a b

Documents

so testes ab

testes ab so eficientes

confiana adequado

louco por dados

dados relevantes

faa benchmarking

wins low

hanging fruits