infovis tutorial
TRANSCRIPT
http://publicationslist.org/junio
José Fernando Rodrigues Júnior
Universidade de São Paulo
Instituto de Ciências Matemáticas e de Computação
- 2012 -
Análise Visual de Dados: conceitos, técnicas e
sistemas
Roteiro
Introdução Alguns Conceitos Esquemas visuais mais usados Interação, Sistematização e Processamento Observações Conclusivas
Questões a serem respondidas
• O que é Visualização de Informações?• Por que seu uso?• Princípios• Técnicas mais usuais• Exemplos de sistematização• Estado da arte• Como obter mais informações sobre o assunto?
O que é?
• A prática de se beneficiar das capacidadescognitivas visuais para se expressar conhecimentode maneira mais rápida e intuitiva.
• Também denominada Infovis
• Exemplo: a invasão francesa da Rússia
O problema
Dados
Humano
Objetivo: discernimento
Transferência dedados
Evolução do Hardware• Dobro do processamento a cada 18 meses (Moore’s Law)• Dobro de tecnologia gráfica a cada 12 meses• Tendência observada já há 50 anos
Fatos
Crescimento da produção/fluxo de dados• Apenas em 2010, estimativa de 5 zetabytes (270 B)• O armazenamento de novas informações tem crescido à
taxa de mais de 30 % ao ano
Evolução do Hardware• Dobro do processamento a cada 18 meses (Moore’s Law)• Dobro de tecnologia gráfica a cada 12 meses• Tendência observada já há 50 anos• Pelo menos mais 10 anos
Fatos
Crescimento da produção/fluxo de dados• Apenas em 2010, estimativa de 5 zetabytes (270 B)• O armazenamento de novas informações tem crescido à
taxa de mais de 30 % ao ano
“O propósito da computação é compreensão, e não números.”
Richard Hamming (Turing Award, 1968)
http://publicationslist.org/junio
• Em contraste, habilidades humanas básicas nãomudam ao longo do tempo
• Bancos de dados com uma quantidade dedados muito maior do que é possível para oser humano aproveitar
Não evolução do ser humano
Conseqüência
As técnicas de Visualização deInformações reduzem este problema.
Fatos
Exibição de dados –diferentes abordagens
• Computação gráfica: como renderizar?
• Visualização científica: como reproduzir graficamente?
• Visualização de informações: como definir um design que personifique meus dados?
Exibição de dados –diferentes abordagens
• Computação gráfica: como renderizar?
• Visualização científica: como reproduzir graficamente?
• Visualização de informações: como definir um design que personifique meus dados?
Tabela BalanceteTrimestre Faturamento
1 702 203 54 5
Ciência Analítica
• Objetivos:– Avaliar– Prever– Identificar alternativas– Suporte à decisão
• Artefatos de racionalização, hierárquicos:– Elementares: dados individuais, suposições, evidências...– Padrões analíticos: correlação, tendência, classificação,
relacionamento, exceções, agrupamentos, estrutura, ...– Artefatos de ordem superior: inferência lógica (se então, por
exemplo), casualidade temporal, modelos de regressão (padrõesfuncionais), ...
– Complexos: hipóteses e cenários (explicações)
Ciência Analítica
Artefatos Elementares
Ex.: dados e suposições
PadrõesAnalíticos
Ex.: tendência,classificação,
relacionamento, agrupamentos,...
Artefatos deOrdem
Superior
Ex.: inferência lógica (se
então, se e somente se), modelos de regressão
HipótesesE
Cenários
(previsão, avaliação,
explicação)
Ciência Analítica
Artefatos Elementares
Ex.: dados e suposições
PadrõesAnalíticos
Ex.: tendência,classificação,
relacionamento, agrupamentos,...
Artefatos deOrdem
Superior
Ex.: inferência lógica (se
então, se e somente se), modelos de regressão
HipótesesE
Cenários
(previsão, avaliação,
explicação)
Principal abrangência da visualização
Ciência Analítica
Artefatos Elementares
Ex.: dados e suposições
PadrõesAnalíticos
Ex.: tendência,classificação,
relacionamento, agrupamentos,...
Artefatos deOrdem
Superior
Ex.: inferência lógica (se
então, se e somente se), modelos de regressão
HipótesesE
Cenários
(previsão, avaliação,
explicação)
Principal abrangência da visualização
Mineração de dados e raciocínio suportado por visualização
Ciência Analítica
Artefatos Elementares
Ex.: dados e suposições
PadrõesAnalíticos
Ex.: tendência,classificação,
relacionamento, agrupamentos,...
Artefatos deOrdem
Superior
Ex.: inferência lógica (se
então, se e somente se), modelos de regressão
HipótesesE
Cenários
(previsão, avaliação,
explicação)
Principal abrangência da visualização
Mineração de dados e raciocínio suportado por visualização
Profundo conhecimento de domínio
Ciência Analítica
• Objetivos:– Avaliar– Prever– Identificar alternativas– Suporte à decisão
• Artefatos de racionalização:– Elementares: dados individuais, suposições, evidências...– Padrões analíticos: correlação, tendência, classificação,
relacionamento, exceções, agrupamentos, estrutura, ...– Artefatos de ordem superior: inferência lógica (se então, por
exemplo), casualidade temporal, modelos de regressão (padrõesfuncionais), ...
– Complexos: hipóteses e cenários (explicações)
Outros recursos:
• Descartes R. 1637. Discourse on Method;
• Jones M. 1995. The Thinker’s Toolkit: 14 PowerfulTechniques for Problem Solving. Three Rivers Press;
• Heuer R. 1999. Psychology of Intelligence Analysis.U.S. Government Printing Office;
• Adams JL. 2001. Conceptual Blockbusting: A Guideto Better Ideas. Fourth edition, Perseus Publishing.
Roteiro
Introdução Alguns Conceitos Esquemas Visuais mais Usados Interação, Sistematização e Processamento Observações Conclusivas
Princípio da Visualização
Dados
Humano
Transferência dedados
Princípio da Visualização
• Os olhos têm acesso privilegiado ao cérebro• Mais de 50 % do cérebro é dedicado à visão
Recursos – pré-atenção
• Mecanismo da visão, duas fases– 1ª. Fase: pré-atenção instantânea e em paralelo
– 2ª. Fase: varredura demorada e seqüencial
Quantos números “4” há na cena?
Recursos – pré-atenção
Cor
PB PD
PE
PA
PI
PJ
PL
PK
PCPB PD
PE
PA
PI
PJ
PL
PK
PC
PE
PI
PL
DIR
ESQ
ESQ
PD
PA
DIR
ESQ
PB
PJ
PK
PC
ESQ
DIR
ESQ
DIR
IDEOL.PART.
Estímulos pré-atentivos4 canais
Recursos – pré-atençãoEstímulos pré-atentivos
4 canais
Posição
PB PD
PE
PA
PI
PJ
PL
PK
PC
PA
PB
PD
PE
PC
PIPJ
PL
PK
PE
PI
PL
DIR
ESQ
ESQ
PD
PA
DIR
ESQ
PB
PJ
PK
PC
ESQ
DIR
ESQ
DIR
IDEOL.PART.
Recursos – pré-atenção
Forma
PB PD
PE
PA
PI
PJ
PL
PK
PCPB PD
PI
PJ
PAPC
PL
PEPK
PE
PI
PL
DIR
ESQ
ESQ
PD
PA
DIR
ESQ
PB
PJ
PK
PC
ESQ
DIR
ESQ
DIR
IDEOL.PART.
Estímulos pré-atentivos4 canais
Recursos – pré-atenção
Tempo(animação
cor, posição
e/ou forma) PE
PA
PI
PK
PE
PI
PL
DIR
ESQ
ESQ
PD
PA
DIR
ESQ
PB
PJ
PK
PC
ESQ
DIR
ESQ
DIR
IDEOL.PART.
Estímulos pré-atentivos4 canais
PE
PA
PI
PK
Recursos – pré-atençãoEstímulos pré-atentivos
Recursos – pré-atenção
• Posição: 1D, 2D e 3D;
• Forma: ponto, linha, área, volume, orientação,comprimento, colinearidade, tamanho,curvatura;
• Cor: matiz, saturação, brilho, textura;
• Tempo (animação): movimento e intermitência.
Estímulos pré-atentivos
Recursos – pré-atenção
• Posição: 1D, 2D e 3D;
• Forma: ponto, linha, área, volume, orientação,comprimento, colinearidade, tamanho,curvatura;
• Cor: matiz, saturação, brilho, textura;
• Tempo (animação): movimento e intermitência.
Mas o que isso tem a ver com computação?
Auxílio computacional:
• escalabilidade de dados (via SGBDs) ede processamento
• interação: redefinição em tempo real daapresentação de dados
• dimensão temporal
• algorítmico: combinação com mineraçãode dados
Estímulos pré-atentivos
Recursos – pré-atenção
• Mecanismo da visão, duas fases– 1ª. Fase: pré-atenção instantânea e em paralelo
– 2ª. Fase: varredura demorada e sequencial
Procedimento geral da visualização (VisualizationMantra):
Visão geral (1ª. fase)Zoom & filtragem (Interação)
Detalhes sob demanda (2ª. Fase)
http://publicationslist.org/junio
Recursos – pré-atenção
Qual o estado com maior nível salarial?
Qual a relação entre salário e educação?
Comportamentos incomuns (outliers)?
http://publicationslist.org/junio
Recursos – pré-atenção
Salário annual Per Capita (U$)
Nív
el e
duca
cion
al (%
com
cur
so s
uper
ior)
Recursos:pré-atenção percepção raciocíonio
Recursos:pré-atenção percepção raciocíonio
Pré-atenção:• Posição• Forma• Cor• Tempo
Percepção(padrões visuais):• Correspondência• Diferenciação• Conectividade• Arranjo• Significado• Variação
Interpretação(padrões analíticos):• Correlação• Tendência• Classificação• Relacionamento• Sumarização• Exceções• Agrupamentos• Estrutura• Leitura, ...
Observação Raciocínio
Recursos:pré-atenção percepção raciocíonio
Pré-atenção:• Posição• Forma• Cor• Tempo
Observação Raciocínio
Projeto/Sistematização
/UtilizaçãoPercepção(padrões visuais):• Correspondência• Diferenciação• Conectividade• Arranjo• Significado• Variação
Etapa natural com pouca
carga cognitiva
Conhecimento de domínio
Interpretação(padrões analíticos):• Correlação• Tendência• Classificação• Relacionamento• Sumarização• Exceções• Agrupamentos• Estrutura• Leitura, ...
Geração de conclusões
com base no domínio dos
dados
Recursos:pré-atenção percepção raciocíonio
Canal:
Posição ●Forma ●
Cor ●Tempo ●
Padrões visuais:
● Correspondência● Diferenciação● Conectividade● Arranjo● Significado● Variação
Recursos:pré-atenção percepção raciocíonio
Demonstração
Mundo: Renda X Emissão de CarbonoPROJEÇÃO ANIMADA
Dados de IDH
• Ano
• Nome do país
• Tamanho da população
• Grupo de renda
• Renda per capita (U$)
• Emissão de CO2 (ton/pessoa)
Software: Gapminder (spreadsheet do Google Docs)
Análise Geral
Percepções• Posição: correspondência, arranjo• Forma: correspondência, diferenciação, conectividade, significado• Cor: correspondência• Animação
Interpretações:• Correlação• Tendência• Classificação• Exceções• Agrupamentos• Estrutura• Leitura
Demonstração
Mundo: Fertilidade X PopulaçãoPROJEÇÃO ANIMADA
Dados de IDH
• Ano
• Nome do país
• Filhos por mulher
• Tamanho da População
• Renda per capita
• Grupo de renda
Software: Gapminder
(spreadsheet do Google Docs)
http://publicationslist.org/junio
1. Mais Recursos– Processamento perceptivo paralelo– Percepção ao invés de cognição– Expansão das memórias de curto e longo prazo do usuário
2. Busca Reduzida– Informações agrupadas reduzem a varredura sequencial– Leitura espacial instantânea
3. Melhor Reconhecimento de Padrões– Reconhecer ao invés de relembrar– Abstração e agregação– Exposição estrutural– Valor, relacionamento, tendência
Como a visualização pode ajudar?
http://publicationslist.org/junio
Como a visualização pode ajudar?
4. Inferência Perceptiva– Alguns problemas se tornam óbvios– O raciocínio é amplificado com pistas visuais
5. Monitoramento Perceptivo– Alterações visuais saltam aos olhos
6. Mídia Manipulável– Interação
Demonstração
Mundo: Distribuição de renda
DemonstraçãoMundo: Distribuição de renda
Linhas Gerais de Aplicação
Tarefas
Exploração analítica Descobrir hipótese
Apresentação confirmatória Verificar hipótese
Suporte à decisão Avaliar, prever, identificaralternativas
Apresentação simples Apresentar o que você jásabe
Linhas Gerais de Aplicação
Tipos de dados
Multi-dimensional (tabular) Bancos de dados relacionais
Redes e árvores (grafos) Redes sociais, redes derecomendação, redes decomputadores, localizaçãogeográfica
Textos e documentos Repositórios de texto (artigos,notícias, wikis)
Espacial-temporal(1D, 2D, 3D e 4D)
Simulação e reprodução defenômenos científicos
http://publicationslist.org/junio
Projeto e desenvolvimento
http://publicationslist.org/junio
Sistematização
Dados “crus”
Dados estruturados
DesignVisual
Visualização
Transformações do Dados
Mapeamento Visual
TransformaçõesVisuais
Dados Formato Visual
ProcessamentoPré-visualização
Técnicasde
Visualização
Técnicasde Interação
Visual
Sistema de Visualização
Introdução Alguns Conceitos Esquemas Visuais mais Usados Interação, Sistematização e Processamento Observações Conclusivas
Roteiro
Esquemas visuais mais usados
• Projeções geométricas
• Técnicas iconográficas
• Técnicas hierárquicas
• Técnicas orientadas a pixels
Classificação que segue à organização visual
Projeção geométricaCoordenadas Paralelas
X0
X0: 5
X1
X1: 1
X2
X2: 10 X3
X3: 7
Atributo 0 Atributo 1 Atributo 2 Atributo 3
10
0
Projeção geométricaCoordenadas Paralelas
COORDENADAS PARALELAS
Dados de veículos
• Milhas Por Galão
• # Cilindros (CYLINDERS)
• Autonomia (DISPLACEMENT)
• Potência (HORSEPOWER)
• Peso (WEIGHT)
• Aceleração (ACCELERATION)
• Ano (YEAR)
• Origem (AMER., EUROP., JAP.)
Software: VisTree
Análise Geral
Percepções• Posição: correspondência, arranjo• Forma: conectividade• Cor: diferenciação
Interpretações:• Correlação• Tendência• Sumarização• Classificação• Exceções
Base de Dados
• Matriz de Scatter Plots– Projeção dos atributos combinados– Correlação
Projeção geométricaMatriz de Scatter PlotsMATRIZ DE SCATTER PLOTS
Dados de veículos
• Milhas Por Galão
• # Cilindros (CYLINDERS)
• Autonomia (DISPLACEMENT)
• Potência (HORSEPOWER)
• Peso (WEIGHT)
• Aceleração (ACCELERATION)
• Ano (YEAR)
• Origem (AMER., EUROP., JAP.)
Software: VisTree
Análise Geral
Percepções• Posição: correspondência, arranjo
Interpretações:• Correlação• Tendência• Exceções
http://publicationslist.org/junio
Projeção geométricaTable Lens
TABLE LENS
Dados de filmes
• Rank de arrecadação (RANK)
• Lançamento (RELEASE DATE)
• Arrecadação (CUMULATIVE GROSS)
• Distribuidora (DISTRIBUTOR)
• Título (TITLE)
Software: Table Lens
Análise Geral
Percepções• Posição: correspondência, arranjo• Forma: correspondência, significado• Cor: diferenciação
Interpretações:• Correlação• Tendência• Classificação• Exceções• Leitura
http://publicationslist.org/junio
•Peso: 5
•Peso: 10•MPG: 1•Potência: 5
•Aceleração: 2
Técnicas IconográficasStar Glyphs
http://publicationslist.org/junio
# D
E C
ILIN
DR
OS
MILHAS POR GALÃO (MPG)
Técnicas HierárquicasSobreposição Dimensional
POTÊNCIA
# D
E C
ILIN
DR
OS
MPG
PESO
http://publicationslist.org/junio
Técnicas HierárquicasTreemaps
http://publicationslist.org/junio
Técnicas Orientadas a PixelsPadrões de Arranjo
• Design• Arranjo dos pixels: apresentação depende da ordem• Mapeamento de cores por valor de atributo
http://publicationslist.org/junio
Técnicas Orientadas a PixelsPadrões de Arranjo
• Design• Arranjo dos pixels: apresentação depende da
ordem• Mapeamento de Cores por valor de atributo
• Um atributo (dimensão) por janela
Técnicas Orientadas a PixelsMatriz de correlações
Técnicas Orientadas a PixelsMatriz de correlações
Esquemas visuais mais usados
• Projeções geométricas
• Técnicas iconográficas
• Técnicas hierárquicas
• Técnicas orientadas a pixels
Introdução Alguns Conceitos Esquemas Visuais mais Usados Interação, Sistematização e Processamento Observações Conclusivas
Roteiro
http://publicationslist.org/junio
Interação e Sistematização
• Interação: alteração dos parâmetros de posição, de forma e decor
• Principais:– Filtragem interativa: alteração de cor (brushing) e de forma
(contorno de seleção)– Transformação Espacial/Zoom: alteração de forma (escala) e
de posição (rotação e translação)– Distorção: alteração de posição (diferentes perspectivas)
• Sistematização com expansão do espaço de exibição:– Visões interligadas (linked-views)– Múltiplos espaços de visualização– Visualização em multi-resolução
O analista pode “sentir” melhor a cena de análise, aumentando as possibilidades
de interpretação visual.
Análise Geral
Percepções• Posição: correspondência, arranjo• Forma: conectividade• Cor: diferenciação
Interpretações:• Correlação• Tendência• Sumarização• Classificação• Exceções
INTERAÇÃO VIA FILTRAGEM INTERATIVA E LINK & BRUSH
SISTEMATIZAÇÃO POR VISÕES INTERLIGADAS (linked-views)
Dados de veículos
• Milhas Por Galão
• # Cilindros (CYLINDERS)
• Autonomia (DISPLACEMENT)
• Potência (HORSEPOWER)
• Peso (WEIGHT)
• Aceleração (ACCELERATION)
• Ano (YEAR)
• Origem (AMER., EUROP., JAP.)
Software: VisTree
Ciência Analítica Visual
INTERAÇÃO VIA
TRANSFORMAÇÃO ESPACIAL
Dados de cidades
• Nome (CIDADE)
• Estado (UF)
• Latitude
• Longitude
Software: FastMapDB
Análise Geral
Percepções• Posição: correspondência, significado• Cor: correspondência
Interpretações:• Classificação• Estrutura• Agrupamentos• Leitura
Ciência Analítica Visual
INTERAÇÃO VIA DISTORÇÃO
Dados de filmes
• Ano de produção
• Distribuidora (DISTRIBUTOR)
• Título (TITLE)
• Gênero
Software: TimeWall
Análise Geral
Percepções• Posição: correspondência• Forma: diferenciação, significado• Cor: correspondência
Interpretações:• Tendência• Classificação• Exceções• Agrupamentos• Leitura
Interação - Distorção espacialStarTree
http://publicationslist.org/junio
Processamento: pré-processamento e
suporte estatístico
• Redução de dimensionalidade:n-dimensional k-dimensional, onde n < k
• Agregação: por exemplo, sumarização estatística
• Seleção: por exemplo, amostragem
• Segmentação: por exemplo, particionamentohierárquico
REDUÇÃO DE DIMENSIONALIDADE
E INTERAÇÃO POR TRANSFORMAÇÃO ESPACIAL
Dados de exames de câncer (biopsia)
• Identificador (ID)
• 9 exames laboratoriais
• Classificador (CLASS)
Software: FastMapDB
Análise Geral
Percepções• Posição: correspondência, arranjo• Cor: correspondência
Interpretações:• Classificação• Estrutura• Exceções• Agrupamentos
Ciência Analítica Visual
AGREGAÇÃO ESTATÍSTICA
Dados de veículos
•Dados de veículos
• Milhas Por Galão
• # Cilindros (CYLINDERS)
• Autonomia (DISPLACEMENT)
• Potência (HORSEPOWER)
• Peso (WEIGHT)
• Aceleração (ACCELERATION)
• Ano (YEAR)
• Origem (AMER., EUROP., JAP.)
Software: VisTree
Análise Geral
Percepções• Posição: correspondência, diferenciação, arranjo• Forma: correspondência, diferenciação, conectividade• Cor: correspondência, diferenciação
Interpretações:
• Sumarização
• Correlação
• Relacionamento
• Tendência• Classificação• Exceções• Agrupamentos
Ciência Analítica Visual
AutoresAutor AutorIdAutor1 1Autor2 2Autor3 3Autor4 4Autor5 5
AutoriaArtigoId AutorId
A 1A 2B 1B 4C 2C 5D 3D 4
ArtigosArtigo ArtigoIdArtigo1 AArtigo2 BArtigo3 C
Ciência Analítica Visual
AutoresAutor AutorIdAutor1 1Autor2 2Autor3 3Autor4 4Autor5 5
AutoriaArtigoId AutorId
A 1A 2B 1B 4C 2C 5D 3D 4
ArtigosArtigo ArtigoIdArtigo1 AArtigo2 BArtigo3 C
Ciência Analítica Visual
SISTEMATIZAÇÃO POR MULTI-RESOLUÇÃO COM
SEGMENTAÇÃO HIERÁRQUICA
Dados de comunicação eletrônica
• Companhias
• Departamentos
• Pessoas
Software: GMine
Análise Geral
Percepções• Posição: arranjo• Forma: conectividade, diferenciação• Cor: diferenciação
Interpretações:
• Relacionamento
• Tendência• Classificação• Exceções• Estrutura• Agrupamentos
BoxPlot – Visão geral da distribuição de variáveis
BoxPlot – Visão geral da distribuição de variáveis
Introdução Alguns Conceitos Esquemas Visuais mais Usados Interação, Sistematização e Processamento Observações Conclusivas
Roteiro
Comparação com Mineração de Dados
• Extração não trivial de informaçõesimplícitas, potencialmente úteis epreviamente desconhecidas
• Caracteristicamente algorítmica
Visualização de Informações+
Algoritmos de Mineração de Dados
Algoritmos deMineração de Dados
Visualização de
InformaçõesObjetivo + –
Mensurável + –Flexível – +
Interativo – +
Comparação com Mineração de Dados
Visualização de Informações+
Algoritmos de Mineração de Dados
Algoritmos deMineração de Dados
Visualização de
InformaçõesObjetivo + –
Mensurável + –Flexível – +
Interativo – +
Mineração Visual de Dados: utilização de Visualização de Informações para monitorar, guiar ou se beneficiar de algoritmos de Mineração de Dados.
Comparação com Mineração de Dados
Exemplo: monitoramento visual do algoritmo k-medoid para detecção de clusters.
Mineração de Dados
Algoritmo k-medoid:1. Selecione os elementos que serão os centros dos
agrupamentos
2. Verifique todos os pontos do conjunto e atribua a cada pontoo agrupamento referente ao centro mais próximo
3. Recalcule os centros dos agrupamentos de acordo com osagrupamentos definidos
4. Enquanto os centros trocarem de posição, vá para o passo 2
Minimizar
Estado da Arte
A Ciência Analítica Visual [2]
Estado da Arte
A Ciência Analítica Visual [2]
Tecnologias de dados:
● armazenamento
● disponibilização
● gerenciamento.
Formatos de dadosversáteis, orientados àanálise.
Procedimentossistemáticos deanálise:
● avaliação
● planejamento
● tomada de decisão.
Design de técnicas de visualização e interação.
Disponibilizaçãoe difusão.
Estado da Arte
A Ciência Analítica Visual [2]
Tecnologias de dados:
● armazenamento
● disponibilização
● gerenciamento.
Formatos de dadosversáteis, orientados àanálise.
Procedimentossistemáticos deanálise:
● avaliação
● planejamento
● tomada de decisão.
Design de técnicas de visualização e interação.
Disponibilizaçãoe difusão.
Formalização do fato de que aciência de InfoVis engloba umasérie de disciplinas, todas inter-relacionadas.
Avaliação de técnicas de análise visual de dados
• Tema amplo
• Critérios:– Funcionalidade – as funcionalidades esperadas são oferecidas?
– Efetividade – a técnica agrega valor? Novas descobertas nos dados?
– Eficiência – a técnica promove melhor desempenho?
– Usabilidade – qual é a dificuldade em se usar o sistema? Há clareza?
– Utilidade – é possível se beneficiar da técnica?
• Metodologias:– Avaliação analítica: baseada em modelos e em testes estruturados;
– Avaliação empírica: quantitativa ou qualitativa
Avaliação de técnicas de análise visual de dados
• Tema amplo
• Critérios:– Funcionalidade – as funcionalidades esperadas são oferecidas?
– Efetividade – a técnica agrega valor? Novas descobertas nos dados?
– Eficiência – a técnica promove melhor desempenho?
– Usabilidade – qual é a dificuldade em se usar o sistema? Há clareza?
– Utilidade – é possível se beneficiar da técnica?
• Metodologias:– Avaliação analítica: baseada em modelos e em testes estruturados;
– Avaliação empírica: quantitativa ou qualitativa
• Há subjetividade semelhante ao que se observa em HCI(Human-Computer Interaction);
• Devido ao contexto analítico, nem sempre as técnicas de HCIpodem ser aplicadas sem adaptação;
• Da mesma forma, há metodologias bastante satisfatórias,mas com alto custo de aplicação.
Avaliação de técnicas de análise visual de dados
• DECIDE1: um arcabouço para avaliação de sistemas1. Determine os objetivos: o quê se quer avaliar?
2. Enumere questões relevantes sobre os objetivos;
3. Escolha a metodologia de avaliação: slide anterior;
4. Identifique os fatores práticos: usuários, equipamento, dados, ...
5. Gerencie as questões éticas;
6. Avalie, interprete e apresente os resultados.
1 J. Preece, Y. Rogers, and H. Sharp, Interaction Design. John Wiley & Sons, Inc., 2002
http://publicationslist.org/junio
Disseminação
• SAP: incorporou (da Inxight) as técnicas StarTree, TableLense TimeWall em seus produtos
• TIBCO (Spotfire): comercializa técnicas como CoordenadasParalelas, Scatter Plots e TreeMaps
• Advanced Visual Systems (AVS): abrange soluções para aindústria e para a academia
• Outras empresas: Advizor Solutions, Compudigm, Dimension5, Infommersion, Macrofocus, Purple Insight, ...
• Listagem completa: http://kisd.de/~marian/infovis/
Linhas de Desenvolvimento
1. Paradigmas de Interação
Orientados ao usuário E.g.: perspective view
Orientados a sistema E.g.: linked views
2. Suporte da Ciência da Computação
Componentes E.g.: Graph-Tree
Aperfeiçoamentos E.g.: Keim’s color space
Linhas de Desenvolvimento
3. Novos Designs
E.g.: GapminderE.g.: Table Lens4. Suporte Teórico
Espaços de Design E.g.: design orientado à percepção
Estudo do sistema perceptivo
E.g.: princípios de manipulação direta
5. Suporte de Desenvolvimento
Componentes E.g.: OpenGLToolkits E.g.: IVTK http://ivtk.sourceforge.net/
3. Novos Designs
E.g.: GapminderE.g.: Table Lens4. Suporte Teórico
Espaços de Design E.g.: design orientado à percepção
Estudo do sistema perceptivo
E.g.: princípios de manipulação direta
5. Suporte de Desenvolvimento
Componentes E.g.: OpenGLToolkits E.g.: IVTK http://ivtk.sourceforge.net/
Linhas de Desenvolvimento
3. Novos Designs
E.g.: GapminderE.g.: Table Lens4. Suporte Teórico
Espaços de Design E.g.: design orientado à percepção
Estudo do sistema perceptivo
E.g.: princípios de manipulação direta
5. Suporte de Desenvolvimento
Componentes E.g.: OpenGLToolkits E.g.: IVTK http://ivtk.sourceforge.net/
Linhas de Desenvolvimento
Ainda há muito o que se fazer em:
visualização de dados relacionais
escalabilidade de dados
uso combinado com mineração de dados
visualização 3D interativa
utilização da dimensão temporal (animação)
Discussão
• A visualização pode resolver todos os meus problemasde análise de dados?
R.: Não. Análise de dados é um processo elaborado querequer profundo conhecimento de domínio, objetivosclaros e trabalho intenso.
• Posso trabalhar sem visualização, então?
R.: Não. Apesar de seus limites, a visualização provêbenefícios bastante favoráveis, e não há substitutopara estes benefícios.
Discussão
• A visualização pode resolver todos os meus problemasde análise de dados?
R.: Não. Análise de dados é um processo elaborado querequer profundo conhecimento de domínio, objetivos clarose trabalho intenso.
• Posso trabalhar sem visualização, então?
R.: Não. Apesar de seus limites, a visualização provêbenefícios bastante favoráveis, e não há substitutopara estes benefícios.
Discussão
• A visualização pode resolver todos os meus problemasde análise de dados?
R.: Não. Análise de dados é um processo elaborado querequer profundo conhecimento de domínio, objetivos clarose trabalho intenso.
• Posso trabalhar sem visualização, então?
R.: Não. Apesar de seus limites, a visualização provêbenefícios bastante favoráveis, e não há substituto paratais benefícios.
Livros BásicosVisualização de
Informações
Robert SPENCE. “Information Visualization”, ACMPress, 2001
Stuart K. Card, Jock D. MacKinlay, BenShneiderman, Mackinlay Card (eds.). “Readingsin Information Visualization: Using Vision toThink”, Morgan Kaufmann Series in InteractiveTechnologies, Academic Press, 1999. ISBN 1-55860-533-9
Colin WARE. “Information Visualization:Perception for Design”, Morgan KaufmannInteractive Technologies Series, January 2000.ISBN 1-55860-511-8
K. Cios et. al. - “Data Mining: A KnowledgeDiscovery Approach”, Springer, 2007
Jiawei Han, Micheline Kamber. “Data Mining:Concepts and Techniques”, Morgan Kaufmann,2006
Pang-Ning Tan, Michael Steinbach, Vipin Kumar.“Introduction to Data Mining”, AddisonWesley, 2005
Livros BásicosMineração de Dados
Fontes de InfoVis
• http://www.wikivis.org/
• Revistas– IEEE “Transactions on Visualization and Computer
Graphics”– Palgrave “Information Visualization”
• Conferências– IEEE Symposium on Information Visualization (InfoVis)– IEEE Conference on Visualization (Vis)– Joint Eurographics IEEE TVCG Symposium on
Visualization (EuroVis)– International Conference on Visualisation (IV)– International Symposium on Smart Graphics (SG)
Profissionais em InfoVis
• Em ordem alfabética:– Agma Traina – ICMC-USP– Carla M. D. S. Freitas - UFRGS– Fernando Paulovich – ICMC-USP– Luciana P. Nedel - UFRGS– Maria Cristina F. de Oliveira – ICMC-USP– Rosane Minghin – ICMC-USP
Outras áreas de visualização
• Visualização Científica• Visualização de Software• Visualização Geográfica• Visualização de Redes• Ciência Analítica• Realidade Virtual• Realidade Aumentada• Sonificação (som)• Háptica (tato)
Prof. Dr.José Fernando Rodrigues Júniorhttp://www.icmc.usp.br/~junio
Principais áreas (maioria das publicações):- Análise Visual de Dados- Recuperação de dados baseada em
conteúdoÁreas Secundárias (já publicado):- Mineração de grafos- Estruturas de dados para indexação- Processamento de imagens- E-learning Fim.
Análise Visual de Dados: conceitos, técnicas e
sistemas
Referências
• [1] “How Much Information?”Lyman P and HR Varian, 2003. Disponível em
http://www.sims.berkeley.edu/how-much-info.
• [2] “Illuminating the Path: The Research andDevelopment Agenda for Visual Analytics”James J. Thomas and Kristin A. Cook, editors.IEEE Press, 2005. Disponível em
http://nvac.pnl.gov/agenda.stm.