PESQUISA EXPERIMENTAL EM

MARKETINGGraziela Rodrigues

PESQUISA EXPERIMENTAL EM MARKETINGReMark – Revista Brasileira de Marketing

Publicação: Maio/2014

Autores:

José Mauro da Costa HernandezDoutor em Administração pela FGV / Professor da USP e Centro universitário da FEI

Kenny BassoDoutor em Administração pelo UFRGS / Professor da Faculdade Meridional - IMED

Marcelo Moll BrandãoDoutor em Administração pela FGV / Professor de Marketing do PPGA da Universidade Nove de Julho - UNINOVE

OBJETIVOS DO ARTIGO:

Discutir os principais elementos para a realização de um estudo experimental.

Estimular os pesquisadores a adotarem o estudo experimental como método de pesquisa.

Fornece um guia de experimentos para pesquisadores iniciantes e oferece novas perspectivas para pesquisadores mais experientes.

INTRODUÇÃO

O crescimento de estudos científicos na área de Marketing mostra que o uso de experimentos é cada vez mais pertinente, pois como a área já possui teorias bem desenvolvidas, pesquisas com a identificação e a mensuração de relações causais passam a ser significativas.

Características dos Experimentos:

Manipulação de uma ou mais variáveis independentes

Controle sobre as variáveis externas por meio de diversas estratégias como a atribuição aleatória dos sujeitos às condições experimentais.

Busca compreender a relação de causa e efeito em fenômenos mercadológicos.

O CONCEITO DE CAUSALIDADE Pesquisa Causal: relação de causa e efeito entre duas ou mais variáveis

Hunt (2010) mostra que quatro condições são necessárias e suficientes para que se possa inferir uma relação de causalidade: Sequência temporal Variação concomitante Associação não espúria Suporte teórico

SEQUÊNCIA TEMPORAL

Variável Independe

nte e Explicativa

Variável responsável pela

“causa” antecede a

variável responsável pelo

“efeito”Obs.: apesar de comum o

entendimento de que a mudança de atitude precede as

mudanças de comportamento,

algumas pesquisas mostram o contrário.

Ex.: ambientes complexos

Variável Dependent

e ou Critério

VARIAÇÃO CONCOMITANTE

Correlação entre duas varáveis (estatística) mostra que há evidência em favor da causalidade.

A ausência de correlação, em geral é suficiente para excluir a hipótese de causalidade.

ASSOCIAÇÃO NÃO ESPÚRIA

É necessário que não haja uma variável qualquer, que adicionada como explicativa, faça desaparecer a associação entre as variáveis de causa e efeito.

X Y

1º Exemplo:Regressão e verifica a

relação entre X “causa” e Y “efeito”

X YZ

2ª Exemplo:Faz nova regressão e se

verificar que o coeficiente relacionado a X continuar

significativo, pode se afirmar que a relação

entre X e Y não é espúria

Questão filósofos da ciência:

Necessidade de mostrar uma relação não espúria

é de fato inferir uma relação de causalidade?

SUPORTE TEÓRICO

A teoria de marketing é suficiente para explicar o fenômeno pesquisado?

A teoria resolve estas questões “filosóficas” se é possível ou não inferir uma relação de causalidade.

Estes quatro critérios em conjunto reforçam o valor científico do desenho de pesquisa experimental.

Pesquisa causal e experimento como sinônimos.

ELEMENTOS DE UM EXPERIMENTO Elementos são importantes para entender o experimento como único método que garante as condições necessárias e suficientes para se inferir uma relação de causalidade:

Hipótese

Manipulação das

Variáveis Independe

ntes

Mensuração da

Variável Dependent

e

Coleta de Dados

Resultados Amostrais

Teste de Hipótese

Controle das

Variáveis Estranhas

População

ELEMENTOS DE UM EXPERIMENTO Hipótese: existência de hipótese com suporte teórico é fundamental

Manipulação das variáveis independentes: É o que difere o experimento dos outros métodos e garante a sequência temporal, pois garante que a variável dependente seja sempre mensurada após o estímulo na variável independente.

Em geral é manipulada em dois níveis de análise, mas pode ter mais conforme a necessidade. Manipulando a variável independente, o pesquisador terá controle preciso sobre a natureza de cada nível do tratamento.

Pode ter variáveis independentes manipuladas (discretas “contagem”) e variáveis independentes mensuradas (discretas ou intervalares). Para ser considerado um experimento deve ter pelo menos uma variável independente manipulada. Quando só tem variáveis mensuradas o estudo é observacional.

Para assegurar a manipulação pode ter variáveis de conferência de manipulação.Variáveis podem ser manipuladas de forma direta, quando observáveis (ex. preço, tipo de promoção, cores em propaganda...) e indiretamente, quando não observáveis (cognitivas, ex. autoestima – medidas através de escalas).

Recomenda-se o pré-teste por questões de custo e tempo.

ELEMENTOS DE UM EXPERIMENTO Variáveis Estranhas:São aquelas que podem influenciar o resultado de um experimento ou fornecer explicações alternativas. Controle destas variáveis assegura que o que muda durante o experimento é o nível de tratamento. Controle difícil em ciências sociais.

Três maneiras de controlar o efeito de variáveis estranhas: Manter constante as variáveis que podem alterar o experimento (ex. laboratório ao controlar variáveis

ambientais, no caso por exemplo de “auto-estima” podem ser controladas pela aleatoriedade dos indivíduos participantes.

Contrabalançando as condições experimentais (ex. três propagandas – ordem). Controle estatístico: inserindo variáveis estranhas no modelo analisado como se fossem uma variável

independente, para que seu efeito sobre a variável dependente seja isolado.

Algumas observações:A variável estranha também ser chamada de covariável, em livros e manuais de análise de dados.

Evitar que os envolvidos tenham conhecimento do experimento, “duplo-cego” (ex. placebo).No uso de histórias fictícias, no ponto de vista ético, é sempre bom esclarecer aos participantes no final do experimento o verdadeiro objetivo de estudo.

ELEMENTOS DE UM EXPERIMENTO Mensuração de variáveis dependentes: amplamente utilizado em outras pesquisas de marketing, pode ter várias naturezas (atitudes, emoções, comportamentos, escolhas...)

Coleta de dados: verificar se a amostra é aleatória, pode-se testar diferenças demográficas e outras características para verificar se há alguma associação entre as características e grupos.

Teste de hipótese: em experimento sempre há o teste de uma hipótese que possa inferir algo sobre a população representada pela amostra.

ELEMENTOS DE UM EXPERIMENTO “Concluindo, se existe teoria suficiente para esperar uma associação

entre uma variável independente e uma dependente; se os sujeitos forem alocados às condições experimentais aleatoriamente, de tal forma que não exista associação entre as características individuais e a variável independente; se o pesquisador tem controle sobre todas

as variáveis ambientais do experimento; se o pesquisador tem controle do momento em que o estímulo é apresentado e do momento

em que a variável dependente é mensurada; então diferenças na variável dependente são naturalmente atribuídas às diferenças

nos níveis dos tratamentos, já que não existe nenhuma outra explicação para a variação sistemática na variável dependente. Por isso diz-se que o experimento é a única forma de se demonstrar uma

relação de causa-e-efeito.” (pág. 103)

CLASSIFICAÇÕES DE EXPERIMENTOS

Tipos

• Experimentais• Quase-

experimentais• Pré-experimentais

Ambiente de Realização

• Campo• Laboratório

Desenhos

• Entre-sujeitos• Dentre-sujeitos

• Mistos

CLASSIFICAÇÕES DE EXPERIMENTOS: TIPOS

Experimentais

• Atribuição aleatória dos sujeitos aos

tratamentos• Reduz explicações

alternativas

Quase-experimenta

is• Ocorre quando não há controle da

amostra aleatória, ex. em pesquisas

de campo• Exemplo na classificação de dois grupos (ex. anúncio - alto e

baixo conhecimento)

Pré-experimenta

is• Não há grupo de

controle.• Apenas um grupo

estudado.• Exemplo: verificar o

efeito de desconto de preços na venda

do varejo

CLASSIFICAÇÕES DE EXPERIMENTOS: AMBIENTE DE REALIZAÇÃO

Campo

• Ambiente real• Proporciona maior realismo, pois

é o ambiente “correto” da ocorrência do fenômeno.

Laboratório• Ambiente artificial

• Sucesso depende da análise do pesquisador: ao ser retirado do

ambiente real pode haver distorções e estas são

significativas?• Vantagens: maior controle de variáveis, possibilita a atribuição

aleatória, flexibilidade na verificação de medidas,

determina limites, menor custo, menor tempo e maior sigilo.

CLASSIFICAÇÕES DE EXPERIMENTOS: DESENHOS

Entre-sujeitos

• Expõe cada sujeito a um tratamento experimental e

compara as medidas entre os

sujeitos expostos a diferentes

tratamentos• Recomendados no

efeito da demanda

Dentre-sujeitos

• Expõe cada sujeito a todos os

tratamentos experimentais e

compara as medidas entre eles

• Utilizados para: eliminar o viés das respostas; quando há poucos sujeitos; contexto envolve muitas decisões;

busca aumentar a validade interna, independe dos processos de distribuição

aleatória dos sujeitos.

• Cuidado com eventos sucessivos

(viés/influência)

Mistos

• Utiliza as duas opções anteriores

• Possível alinhar os benefícios dos dois

desenhos experimentais

CLASSIFICAÇÕES DE EXPERIMENTOS: DESENHOS FATORIAIS Teste de duas ou mais variáveis independentes sobre as variáveis dependentes

Vantagem é que permite explorar todas as combinações dos fatores envolvidos e analisar os efeitos principais de cada um dos fatores e as interações.

Recomenda-se este tipo de experimento quando a análise de interação é necessária para o teste de hipóteses.

MEDIAÇÃO X MODERAÇÃO Muitas vezes o pesquisador quer saber como e quando X exerce influência sobre Y:

X Y

Como? Mediação

M

X Y

Quando? Moderação

W

MEDIAÇÃO

Ocorre quando o pesquisador quer verificar o processo pelo qual (como) a variável independente X exerce efeito sobre a variável Y e por isso insere no modelo uma ou mais variáveis intervenientes: M1, M2, M3...

X Y

M

a b

c

a, b e c são os caminhos

MEDIAÇÃO Método de Baron e Kenny (1986):

Uma variável M serve como moderadora entre X e Y quando:

Variações em X são responsáveis por variações em M: caminho a

Variações em M são responsáveis por variações em Y: caminho b

Quando se controla o efeito de M, a relação entre X e Y deixa de ser significativa, a evidência mais forte de mediação é quando c = 0 ou não significativo, significa que a mediação é total, caso contrário é uma mediação parcial

Este modelo pressupõe que necessariamente haja uma relação causal entre X e Y

X Y

M

a b

c

MEDIAÇÃO

Bollen (1989) falta de correlação (entre duas variáveis) não invalida a causalidade.

Para que a variável M seja um dos mediadores da relação X e Y é necessário apenas que o caminho a*b seja diferente de zero.

Teste de Sobel (1982) permite o cálculo do intervalo de confiança para o produto a*b. Uma limitação é que o teste supõe que é uma distribuição normal, mas esta distribuição geralmente é irregular para pequenas amostras.

Método bootstrap permite inferências sobre um valor cuja distribuição é desconhecida. Amostra original n é tratada como uma pequena representação da população originalRe-amostras, com reposição e estatísticas diferentes (a*b), para construir uma distribuição hipotética e o intervalo de confiança – resultados analisados na prática, se o intervalo contém o zero, não se pode rejeitar H0

Obs: não tem o mesmo significado de um teste de hipóteses

MODERAÇÃO

Ocorre quando se deseja descobrir as condições de fronteiras de um fenômeno.

Uma associação é moderada quando a natureza (grandeza e sinal) da relação entre duas variáveis X e Y depende de uma terceira variável W.

X Y

W

O efeito da moderação é conhecido pela interação e pode ser verificada por meio:

• Regressão: X e W intervalares

• ANOVA: X e W nominais ou ordinais

• Se interação ocorre, testa-se como a moderação ocorre verificando-se qual o efeito de X sobre Y – nome deste processo probing

MODERAÇÃO

Análise é feita pela variância, mas ne sempre a solução é tão fácil quando as variáveis independentes ou moderadora são contínuas.

Dicotomizar a variável contínua pela média e mediana: perda de informação, pois na dicotomização uma variável mensurada por cinco ou mais pontos, baixa para dois níveis.

Porém é uma solução simples, que pode ser utilizada por exemplo quando X tenha sido manipulada em 2 níveis, no qual tanto W e Y tenham sido mensuradas em escalas intervalares. Aplica-se a regressão para verificar o coeficiente da interação.

Análise Spotlight: existindo a moderação, faz-se duas novas regressões similares à anterior, mas o valor da variável moderadora em valores conveninentes, geralmente desvio-padrão abaixo e acima da média da variável moderadora. Mudanças na significância e no coeficiente associados a variável X - indicariam a natureza da moderação.

AMEAÇAS AOS EXPERIMENTOSDiversos fatores podem prejudicar os resultados de experimentos:

Validade dos Experimentos

Poder da Análise

Seleção da Amostra

VALIDADE EM EXPERIMENTOS Validade refere-se a aproximação entre inferência e a verdade.

Quatro tipos de validade:

Validade estatística: validade da relação entre tratamentos e resultados.

Validade de construto: quanto da mensuração ou manipulação representa o conceito teórico.

Validade Interna: mostra quanto as inferências do modelo causal são seguras.

Validade externa: capacidade da generalização do relacionamento causal encontrado para outros contextos.

VALIDADE EM EXPERIMENTOS: VALIDADE ESTATÍSTICA Dois erros podem interferir na validade estatística:

Erro Tipo I: quando o pesquisador erra ao rejeitar H0, inferindo uma relação causal inexistente. Valor p igual ou menor que 0,05 (nível de significância) H0 deve ser rejeitada.

Erro Tipo II: quando o pesquisador não rejeita uma H0 que é falsa, infere que a relação causal não existe, enquanto ela existe. Menor nível de significância maior a probabilidade de erros deste tipo. Pequenas amostras podem aumentar erro Tipo II.

VALIDADE EM EXPERIMENTOS: VALIDADE DE CONSTRUTO Refere-se a como o construto é compreendido e avaliado, seja ele uma variável independente ou dependente.

Construto variável independente: pesquisador avalia a validade pela análise de validade de conteúdo – verificando os itens da escala. Verifica se o construto está sendo manipulado.

Construto variável dependente: pesquisador avalia com uma análise de validade de conteúdo (escala) + testes estatísticos. Sugere: análise de consistência interna, de validade convergente e de validade discriminante. Apesar das sugestões a maioria das pesquisas experimentais de marketing faz uso da medida de consistência interna – alpha de Cronbach.

VALIDADE EM EXPERIMENTOS: VALIDADE INTERNA Foco dos estudos experimentais, pois refere-se as inferências de causalidade.

Se o estudo concluiu que a variável independente X causou mudanças na variável dependente Y, pode-se afirmar que há validade interna.

Se o estudo deixa espaço para explicações alternativas, então tem-se baixa validade interna. Para reduzir estas explicações pode-se usar processo de mediação, explicando o processo.Observações:Estudo de campo tem menor validade interna x estudos em laboratório que tem maior validade externa (controle + distribuição aleatória)

Trade-off: maior validade interna – menor validade externa

VALIDADE EM EXPERIMENTOS: VALIDADE EXTERNA Três perspectivas que interferem na validade externa:

Generalização estatística: amostra – populaçãoSugestão: amostragem por quotas (escolha dos sujeitos com as características desejadas) pode aumentar a validade externa

Robustez dos efeitos encontrados: expandir ou não para outros conceitosSugestão: alternar os contextos utilizados nos experimentos

Realismo: tarefas, estímulos e tratamentos podem tornar difícil a transposição dos resultados para o mundo realSugestão: não confundir a realização dos estudos de campo ou laboratório, mas verificar a realidade envolvida no estudo e do contexto.

VALIDADE EM EXPERIMENTOS Concluindo sugestões para a validade:

Múltiplos estudos: diferentes manipulações, sujeitos e procedimentos.

Identificar condições que causam alguma limitação.

Verificar a motivação dos participantes.

Atenção para a realidade da tarefa experimental.

Utilização de covariáveis para controlar o efeito de características individuais e situacionais sobre as variáveis dependentes do estudo.

PODER DE ANÁLISE

Poder de um teste estatístico é a probabilidade de que o teste irá rejeitar H0 – falsa, reduzindo erros Tipo II.

Poder dependente: probabilidade do erro Tipo I escolhido, tamanho da amostra e tamanho do efeito para a hipótese a ser testada.

Segundo Sawyer e Ball (1981) os estudos de marketing devem procurar responder a duas questões:

O estudo é sensível o suficiente para permitir a identificação de covariação?

Se há evidência de covariação, qual é a força da covariação entre a causa e efeito?

PODER DE ANÁLISE

Para medir a força de um efeito:

D de Cohen: verifica o tamanho do efeito, calculado pela diferença de média de dois grupos dividida pelo desvio padrão de ambosAté 0,20 pequenos0,50 é o valor desejadoEntre 0,20 e 0,80 médiosAcima 0,80 grandes

Eta quadrado parcial: mede a intensidade de associação das variáveis (X e Y), calculado soma dos quadrados do efeito deve ser dividida pela soma dos quadrados do efeito + soma dos quadrados dos erros.Em torno de 0,01 efeito pequeno0,06 – médios0,08 - grandes

SELEÇÃO DE AMOSTRA

Recomenda-se amostras homogêneas, exceto com outros objetivos:

Minimizar a ocorrência de fatores que podem interferir nos resultados

Quando a é amostra heterogênea o erro de variância pode aumentar

Sugestões:

Experimentos com estudantes na composição da amostra, replicar em amostras mais heterêgeneas (generalização)

Ao menos 30 casos para possibilitar uma distribuição normal.

PERSPECTIVAS DO USO DE EXPERIMENTOS EM MARKETING: TENDÊNCIASTendências do uso de experimentos em Marketing:

Aumento do número de estudos experimentais publicados em um mesmo artigo: No mínimo 3 experimentos, pois os pesquisadores começam a acreditar que existe uma relação causal entre duas variáveis quando o estudo é repetido e resultados similares são encontrados.

Experimentos mais simples:Para ser aceito em um periódico conceituado, são necessários vários estudos com diferentes níveis de complexidade, relatados de forma minuciosa para que possam ser replicados.

Mais experimentos de campo:Número de experimentos em laboratório é muito maior, sugestão de combinar ambos para um complementar o outro.

Embora difíceis de serem executados, aumentam o realismo e a validade externa.

PERSPECTIVAS DO USO DE EXPERIMENTOS EM MARKETING: DESAFIOSDesafios para o uso de experimentos em Marketing:

Uso de amostras mais representativas:Com consumidores reais, com ampla variedade de condições socioeconômicas e vivendo em lugares diferentes. Desafio: o custo e a dificuldade de se obter as amostras.

Estudo com observação de comportamentos:Relatos de pensamentos, sentimentos, memórias e atitudes x Real “medidas” de comportamentos possíveis com observações.

CONCLUSÃO

Expectativa dos autores e da academia de Marketing é que os estudos experimentais ganhem relevância. Por isso incentivam que os artigos sobre experimentos abordem diferentes percepções e outras lacunas não abordadas neste trabalho.

Esperam discussões mais profundas sobre os testes de moderação e mediação, bem como o processo envolvido na construção de uma pesquisa com desenho experimental.

Importante ressaltar a importância dos pesquisadores utilizarem metodologia apropriada para compreender os fenômenos mercadológicos.