Cap. 10

Debrief the Participant and

Observers

Ana Maria Araújo • Marcia Regina • Marcos Schmitt

Prof.: Luiz AgnerPUC - Ergodesign de Interfaces: Usabilidade e Arquitetura da Informação

● Explorar e revisar as ações dos participantes durante a parte de desempenho do teste de

usabilidade;

● O teste de usabilidade descobre e expõe os problemas, mas muitas vezes é o debriefing que

lança luz sobre por que esses problemas ocorreram e como corrigi-los.

Debrief

● Entender erros, dificuldades e omissões que ocorreram;

● Última oportunidade antes de deixar os participantes sair pela porta;

● Explicar as coisas que não foram possível ver durante o teste (o que os usuários estavam

pensando ou de falar as suas preferências pessoais);

● Iluminar o processo de pensamento e raciocínio quando não “pensou em voz alta”;

● A tarefa indica o ''o que'' da realização, o debriefing indica o '' porque '' do desempenho;

Porquê fazer "review" com participantes e observadores?

● Ao envolver observadores se aproveita as observações destes e os tornam mais propensos a se

sentir com propriedade das questões e comprar as soluções dos problemas encontrados;

● Tomar a partir de interações com os observadores alguma noção das prioridades das partes

interessadas.

Técnicas de revisão com participantes

● Nunca faça os participantes se sentirem na defensiva sobre suas ações ou suas opiniões.

A sessão de debriefing deve ter o sabor de uma discussão entre os pares, não deve assumir o

sabor de um réu no banco das testemunhas a ser interrogado.

● Enquanto interrogar/questionar um participante, não reagir às respostas dos

participantes de uma forma ou de outra. É muito fácil de levar a testemunha, comunicando

através da linguagem corporal e outros meios não-verbais que uma resposta particular é

inerentemente melhor do que outra resposta.

Onde realizar a sessão de Debriefing

● Na mesma área que o teste. O participante se sente mais a vontade por já estar ali.

● Distante do local de teste. Participante é extremamente tímido, está cansado ou distraído.

Principalmente se a sala é muito grande e está sendo observada por outras pessoas através de

um espelho unidirecional ou a partir de uma sala de observação eletrônica.

Orientações básicas para o Debriefing

1. Reúna seus pensamentos enquanto o participante preenche todos os questionários pós-

teste.

- Decidir quais problemas ainda são nebulosos;

- Revise os tópicos do debriefing. Circule as questões que primordiais. Retire os temas que

não são mais relevantes.

2. Rever o questionário pós-teste.

- Deixe o participante pausar enquanto você revê o questionário que ele acaba de concluir;

- Olhar rapidamente sobre algumas das respostas e avaliações dos participantes no pós-teste

ou folhear suas notas e recolher perguntas dos observadores;

- Procure respostas inesperadas que poderiam se beneficiar da exploração.

3. Comece deixando o participante dizer o que está em sua mente.

- Comece com uma pergunta muito geral em aberto, tais como "Então, o que você acha?" Ou

"Como foi isso?";

- Permite que o participante para desabafar, se ele ou ela está se sentindo muito frustrado;

- Isso significa que o tema que o participante escolhe para falar é normalmente a mais

proeminente a essa pessoa.

4. Comece suas perguntas a partir de questões gerais de alto nível.

- Use o seu debriefing topics guide para ajudar a se lembrar de suas principais preocupações;

- Volte para o que você estava tentando aprender fazendo este estudo de usabilidade.

6. Analise esses lugares no questionário pós-teste do participante anteriormente marcadas

como áreas para explorar.

- Dê-se uma margem para pensar sobre as questões que você precisa explorar;

- Deixe o participante relaxar para não responder com o primeiro pensamento que vier à

mente.

- Deixe o participante ver suas respostas, para pensar sobre as questões e como essas

questões se relacionam com a utilização do produto no local de trabalho ou em casa.

5. Mover-se para as questões específicas.

- Olhar no formulário de coleta de dados anotação referentes a sondagem;

- Colocar “??” em pontos para exploração debriefing, mas não justificava parar o teste

naquele momento.

7. Concentre-se em compreender os problemas e dificuldades, e não na resolução de problemas.

Não vê-las como:

- Um tempo para resolver os problemas descobertos pelo teste. Você não precisa

entender como corrigir o problema.

- Um tempo para solicitar idéias de design do participante. Os participantes conhecem

melhor é se um produto atende às suas necessidades ou não.

9. Se for o caso, deixe a porta aberta para outro contato.

- Depois de ter concluído a sessão, você pode querer sugerir a possibilidade de entrar em

contato com o participante para esclarecer quaisquer questões que possam surgir;

- Agradecer ao participante e, apresentar ao participante qualquer remuneração.

8. Termine toda a sua linha de questionamento antes de abrir a palavra para discussão

pelos observadores.

- Defendemos observadores ter oportunidade de fazer perguntas, mas não defendemos

pessoas diferentes disparando perguntas ao participante de forma aleatória;

- Se os observadores estão localizados fora da área de testes, então é melhor se eles

escrevam suas perguntas em um pedaço de papel e você fazer as perguntas;

- Se os observadores estão localizados na sala de prova durante o teste, você ainda pode

pedir-lhes para escrever as suas perguntas;

- Pode até fazer mesa redonda se o participante não se sentir intimidado.

Diretrizes e Técnicas Avançadas

Após o domínio das técnicas básicas, existem outras técnicas e diretrizes que podem ser utilizadas.

Técnica “Repetir o Teste”

Conhecido também com análise retrospectiva;

Serve para ativar a memória do participante. O que permite que ele lembre de pontos importantes que

podem ter sido esquecidos de serem mencionados durante o teste.

Método Manual - Com o auxilio do formulário de coleta de dados o avaliador deverá ter feito anotações

chaves que descreviam o comportamento do usuário para cada cenário.

Prós: O usuário poderá reviver as suas emoções e reações no momento em que ocorreram os eventos.

Contras: O avaliador precisa realmente prestar atenção durante o teste; Ter uma boa memória; Escrever

boas anotações; O teste não poderá ser muito longo pois não será possível lembrar de tudo

Método de Vídeo - Uso de tecnologia para substituir auxiliar a memória e as anotações do avaliador.

Prós: Permite que o usuário veja as suas reações, o que facilitar eles lembrarem as suas emoções.

Contra: Tempo maior;

Gravação de Áudio da Sessão de Debriefing

Prós: Notas mais curtas; Maior atenção com o usuário; Mais fácil retirar as observações importantes

após a transcrição.

Contras: Transcrição irá levar um tempo maior.

Revendo projetos alternativos

Indicado para estágios iniciais de desenvolvimento, onde existem versões alternativas. O teste irá

fornecer informações sobre as preferências dos participantes.

Pode ser mostrado 2 ou 3 protótipos e pedir a opinião dos participantes.

Com os protótipos em mãos o usuário poderá dar mais sugestões do que se tivesse quer ideias

partindo do zero.

Técnica “O que você lembra”

Utilizada para verificar se um determinado elemento do design contribui, inibi ou não tem nenhum

efeito sobre o participante.

A abordagem deve ser sutil.

Ex.: Caso do Jeff - etiquetas gráficas x etiquetas de texto. O objetivo era verificar se o participante iria

notar um rótulo no cartucho de impressão que o ajudaria a inserir o cartucho corretamente.

Jeff observou o quanto a técnica é valiosa e que muitas vezes os desenvolvedores gastam um tempo

muito grande para detalhes que os usuários não percebem.

Técnica “Advogado do Diabo”

Utilizado para averiguar o quanto o usuário está sendo sincero.

Verificar aspectos críticos ou vulneráveis do produto.

O Moderador sai da posição neutra.

● Como implementar a Técnica

Discrição e cautela;

Sugerir que os comentários do participante estão diferentes das suas reações;

Mentira branca;

● Exemplo

“Você não acha um insulto o fabricante fazer com que você realize uma correção que deveria ter sido

resolvida em fábrica?”

Atenção: Não esqueça de avisar a sua equipe com antecedência.

Revisar e Chegar a um Consenso com os Observadores

Ao coletar dados e observações no final de uma sessão, após o debriefing com os participantes, antes

de ir para a próxima sessão ou começar analisar os dados do estudo:

● Trabalhe com os observadores para torná-los co-pesquisadores.

Porque Rever com os Observadores?

Ao incluir observadores como “co-pesquisadores”, há grandes benefícios:

● Você tem outras pessoas para conversar sobre o que aconteceu em cada sessão;

● Observadores se tornam mais engajados numa discussão com o objetivo de chegar a um

consenso sobre questões de usabilidade;

● O que a equipe considera de alta prioridade, indica o que incluir nos relatórios;

● Equipe chega a um acordo sobre quais são os problemas e como descrevê-los.

Entre Sessões

● Debriefing com os observadores entre as sessões de teste;

● Comece perguntando: “O que você achou?”;

● Mantenha os observadores juntos por apenas 10 minutos para chegar as suas impressões

sobre o que aconteceu na sessão;

● Faça anotações de cada uma das questões que os observadores listaram;

● Agrupe as observações e percepções;

● Chegue a um consenso sobre os principais problemas e como descrevê-los. Pergunte se

todos concordam com os itens levantados; Se não, peça ao autor para esclarecer até que

haja um consenso geral;

● Documente o item em algo visível e acessível para os observadores;

● Em cada questão, relacione o problema ao participante; Ao se referir aos participantes, utilize

números, em vez de nomes, para proteger a privacidade;

● A lista de problemas irá ajudar ao entregar relatórios, que são breves resumos.

Ao Final do Estudo

Após a conclusão de todas as sessões, tenha uma última sessão de debriefing com os observadores.

Peça aos observadores para revisarem as questões de consenso e estabeleça prioridades.

Existem maneiras de classificar as questões em ordem de prioridade:

● Peça aos observadores para votar. Os itens com o maior número de votos são as principais

prioridades;

● Escrever as questões em notas e cartões para que os observadores possam classificá-los em listas

de prioridades.

É importante que os observadores participem do exercício de classificação, para garantir que não haja

surpresas no relatório final.

Evite discutir sobre como resolver questões, sobre possíveis soluções.

Referências Bibliográficas

RUBIN Jeff; CHISNELL Dana. Handbook of Usability Testing: How to Plan,

Design, and Conduct Effective Tests. Wiley, Second Edition. Chapter 10:

Debrief the Participant and Observers.