Teste de UsabilidadePós-graduação lato-sensu - CCE - PUC Rio
Ergodesign, Usabilidade e Arquitetura da Informação
Leonardo Caetano | Luciana Albuquerque
Identifying Web Usability Problems from Eye-Tracking Data
Apresentação do artigo
de Claudia Ehmke e Stephanie WilsonCentre for HCI Design - City Universe - London UK
Introdução
O uso frequente da internet na rotina das pessoas faz com que elas esperem uma evolução constante das interfaces, e qualquer experiência de navegação tem que ser positiva.
Poor usability is not tolerated by users who simply choose to go elsewhere“Por consequência, analisar a usabilidade dos sites e realizar alguns testes têm se
tornado muito comum. Entre as diversas formas de avaliar uma interface, existe o eye-tracking.
Introdução
Os olhos nunca se mantém em uma mesma posição por muito tempo, se movem muitas vezes por segundo, em movimentos curtos passando por alguns pixels ou em movimentos longos.
O eye-tracker é um aparelho captura os movimentos dos olhos.
Resultado: um gráfico indicando o caminho que os olhos dos usuários seguiram, onde ele passou mais ou menos tempo olhando, tentando entender a tomada de decisão do usuário, seu modelo mental e estímulos. Comparando-se mais de um usuário, tenta-se encontrar comportamento padrão.
Um estudo feito Just e Carpenter assume que o local para onde você está olhando indica onde está prestando atenção ou no que está pensando sobre.
O artigo relaciona o resultado do eye-tracking com a existência de problemas de usabilidade.
IntroduçãoEye Tracker
IntroduçãoGaze plot Mapa de calor
Fixations: Olhar fixoSaccades: Movimentos rápidos (involuntários)Gaze plot: O gráfico de resultados do eye-tracker
Dados
Histórico:
Apesar de ser uma nova técnica na área de Usabilidade, o eye-tracking já é utilizado em outras displinas como a Psicologia há pelo menos 60 anos.
Sobre o Eye-Tracking e a Usabilidade:
Entre referências estudadas, uma pesquisa realizada por Amitage em 2006 propõe algumas interpretações básicas sobre o movimento dos olhos:
- long fixations (confusão ou interesse)- back-track saccade (possivel confusão)- back and forth between two objects (escolha/comparação ou distração)- reading headings and subheadings but no more (desinteresse)entre outras...
Dados
Pesquisas relacionadas:No artigo são citadas rapidamente outras pesquisas relacionadas a esta que serviram de background para a formulação do artigo:
Dados
Pesquisas relacionadas (continuação):
Dados
Pesquisas relacionadas (continuação):
Dados
Jacob e Karn fizeram um overview dos estudos sobre eye-tracking e métricas em HCI. Foram analisados 24 estudos entre 1950 e 2002. Identificando 6 métricas mais comuns:
- Total de pontos de fixação (11 estudos)- Gaze em cada área de interesse (7 estudos)- Média de duração das fixações (6 estudos)- Fixação em cada área de interesse (6 estudos)- Duração média do gaze em cada área de interesse (5 estudos)- Taxa de fixação - em geral (5 estudos)
Eles também ressaltam que essas métricas às vezes não são as mais adequadas e indicam algumas outras, incluindo Scan Path (caminho que os olhos seguem pela página) e Probabilidade de transições entre áreas de interesse para avaliar organização dos elementos no layout.
Vários estudos comparam os resultados da avaliação de usabilidade tradicional a diferentes métricas de eye-tracking. A maior referência é o estudo feito por Goldberg e Kotval que continuamente vem sendo acrescido de novas métricas.
No entanto, avaliações de especialistas e medidas de desempenho só podem dar uma visão geral do problema, não estabelecendo ligações diretas entre métricas e problemas de usabilidade.
O artigo investiga a correlação entre os padrões de usuários definidos pelo eye-tracking e os problemas de usabilidade específicos de diferentes contextos.
Conclusão Quanto aos Dados
Eye-Tracking: Método
- O moderador deve ter as tarefas para ser realizadas em um ou dois sites diferentes.
- O usuário deve falar enquanto faz as tarefas (think-aloud)
- Pode-se fazer perguntas sobre a percepção do usuário depois da realização das tarefas, (retrospective protocols)
- O moderador deve observar o usuário realizando as tarefas.
- O eye-tracker vai capturar o movimento dos olhos
- Depois deve-se analizar todos os dados e fazer uma correlação entre eles.
Método do Teste
Foram analisados dois sites – BBC e The Train Line com uma tarefa específica para cada um dos sites. Todos os participantes deveriam testar os dois sites se o tempo disponível permitisse.
Alguns usuários seriam incentivados a falar enquanto realizavam a tarefa e outros não.
Outros usuários participariam de uma entrevista pós-teste analisando as filmagens e explicando o que estava vendo ou pensando naquele momento.
Foram coletados protocolos verbais (think-aloud), dados de observação e das entrevistas pós-teste para identificar problemas de usabilidade, bem como dados de rastreamento ocular fornecidos pelo eye-tracker.
As correlações entre os dois foram então analisados.
Tarefas
BBC (bbc.com)
- Encontrar as condições para o surfe no País de Gales
Para avaliar os elementos de navegação e o escaneamento das imagens, textos e outros elementos na tela.
The Train Line (thetrainline.com)
- Encontrar uma jornada específica de um trem
Para avaliar inserção de texto e o escaneamento das informações.
Participantes
19 participantes (9 mulheres e 10 homens)
- Alguns usavam lentes ou óculos mas isso não foi um impedimento.
- 9 deles tinham algum conhecimento em HCI, mas nenhum tinha participado de testes antes
- Idade entre 22 e 55 anos, sabendo que só dois tinham mais que 36.
- Inglês era língua nativa de menos da metade, mas todos vivem em londres e falam inglês fluentemente.
- Todos lidam com internet diariamente
- Todos conheciam o site da BBC
- Somente dois conheciam o site thetrainline.com
Procedimentos do Teste
1. Breve questionário quanto a dados demográficos.
3. Eye-tracker calibrado para o participante, as tarefas foram explicadas e inicia-se o teste.- Realizar as tarefas para os dois sites dependia de limitações de tempo dos participantes
4. Alguns participantes foram incentivados a pensar em voz alta (think-aloud) e outros não – um dos objetivos do teste era correlacionar este dado também.
6. Após o teste, alguns participantes tiveram suas gravações mostradas a eles mesmos e foram solicitados a descrever porque tinham feito determinada coisa ou o que estava chamando sua atenção.
Extração dos Problemas de Usabilidade
1- Foram extraídos problemas de usabilidade dos dados brutos (raw data) das observações, do think-aloud e da conversa depois da tarefa (retroscpective protocol)
2- Procurou-se comportamentos comuns a todos os usuários (onde mais de um usuário teve o mesmo problema)
3- Comparou-se os problemas entre os sites para identificar problemas únicos em cada site / tarefa.
Extração dos Problemas de Usabilidade
No total, foram identificados 74 ocorrência de problemas de usabilidade no BBC, e 75 no The Train Line (alguns duplicados, obviamente).
Estes problemas foram divididos entre “site problem” e “page problem”.
Depois esse número foi compilado:
Correlação entre Problemas de Usabilidade e os Padrões do Eye-Tracking
Problemas que ocorreram com mais frequência:
Limitações do Método
- Um único moderador torna a compilação mais consistente, porém, fica restrito a UMA única interpretação.
- O eye-tracker identifica onde pode estar um problema, mas não o explica.
- Não havia métricas anteriores para fazer comparações.
- O software e suas limitações e o tempo de realização da pesquisa.
Problemas com o Esquema de Correlação
- Tratamento e harmonização de padrões para os diferentes participantes.
- Limitações das métricas para a combinação de resultados, pois não eram suficientemente claras.
- A identificação de amplos padrões de rastreamento ocular e limitações de tempo não permitiram verificar se o padrão era confiável.
- Alguns padrões só foram identificados com o think-aloud e não pela ferramenta.
Conclusão
- Foi provada a correlação dos problemas de usabilidade com os padrões identificados pelo eye-tracking.
- Foram criadas novas métricas que enriquecem a literatura sobre o assunto.
- Comprovado que é possível usar o eye-tracking como uma fonte segura de dados, porém seus padões devem ser estudados com mais profundidade.
- Sérios problemas técnicos foram experimentados com a configuração do eye-tracker que afetou o estudo. É necessária uma análise mais abrangente dos dados com outra abordagem para investigar essas e outras correlações.