tesis doctoral - caracterización formal y análisis empírico de mecanismos incrementales de...

Caracterización Formal y Análisis Empírico de Mecanismos Incrementales de Búsqueda basados en Contexto

Universidad Nacional del Sur

Defensa Oral de Tesis

Doctor en Ciencias de la Computación

Carlos M. Lorenzetti

CONICET

Directores : Guillermo R. SimariAna G. Maguitman

Cambio de roles

Oportunidades

DDESAFÍOSESAFÍOS

AACCESIBILIDADCCESIBILIDAD

RRECURSOSECURSOS

AASISTENCIA SISTENCIA IINTELIGENTENTELIGENTE

Oportunidades

CPUCPU OOCIOSASCIOSAS

El problema del contextoEl problema del contexto

Cantidad de Cantidad de informacióninformación

ConsultaConsulta

ContextoContexto

Consultas basadas Consultas basadas en contextoen contexto

IIMPORTADOR DE CAFÉMPORTADOR DE CAFÉ

¿Variedades?¿Cualidades?

¿Exportadoras?

Búsqueda basada en contextoBúsqueda basada en contexto

TTTTTURISTAURISTAURISTAURISTAURISTA

¿Sitios de interés?

¿Historia?¿Historia?

¿Paquetes?

Búsqueda basada en contextoBúsqueda basada en contextoBúsqueda basada en contextoBúsqueda basada en contextoBúsqueda basada en contexto

EESTUDIANTESTUDIANTE

¿Ejemplos?

¿Comparación?

¿Sintaxis?

Búsqueda basada en contextoBúsqueda basada en contexto

PPROBLEMASROBLEMAS

WWEBEB

CCOMPLEJIDADOMPLEJIDAD SSIGNIFICADOIGNIFICADO

FFORMULACIÓN DEORMULACIÓN DE

CCONSULTASONSULTAS

RREFINAMIENTO DE EFINAMIENTO DE CCONSULTASONSULTAS

1.Consulta original

2.Conjunto inicial de documentos

3.Cálculo de Relevancia● Realimentación Supervisada● Realimentación No supervisada● Realimentación Semi-supervisada

4.Mejora de la representación

5.Recuperación de mejores resultados

Refinamiento de consultas

1.Consulta original

3.Cálculo de Relevancia● Realimentación SupervisadaSupervisada● Realimentación No supervisada● Realimentación Semi-supervisada

● Realimentación No supervisada● Realimentación Semi-supervisada

1.Consulta original

3.Cálculo de Relevancia● Realimentación Supervisada● Realimentación No supervisadaNo supervisada● Realimentación Semi-supervisada

● Realimentación Semi-supervisada

1.Consulta original

3.Cálculo de Relevancia● Realimentación Supervisada● Realimentación No supervisada● Realimentación Semi-supervisadaSemi-supervisada

1.Consulta original

5.Recuperación de mejores resultados5.Recuperación de mejores resultados

1.Consulta original

OBJETIVOS

Proponer, investigar y evaluar nuevas técnicas Proponer, investigar y evaluar nuevas técnicas semisupervisadassemisupervisadas de IR orientadas a entender de IR orientadas a entender mejor las necesidades de los usuarios.mejor las necesidades de los usuarios.

Preguntas de investigaciónPreguntas de investigación

• ¿Puede el contexto del usuario explotarse para acceder a material relevante en la Web?

• ¿Pueden los términos específicos a un contexto ser refinados incrementalmente basándose en el análisis de los resultados de un motor de búsqueda?

• ¿Estos términos son mejores?

OBJETIVOS

1)Proponer un algoritmo semisupervisadoalgoritmo semisupervisado capaz de aprender incrementalmenteincrementalmente nuevos vocabularios con el propósito de mejorar consultas temáticas. El objetivo es que estas consultas reflejen la información información contextualcontextual y así puedan recuperar material relacionado semánticamentesemánticamente.

2)Desarrollar una plataformaplataforma para evaluar las técnicas de IR propuestas, así como otras técnicas existentes. Dicha plataforma es especialmente apta para el análisis de análisis de buscadores temáticosbuscadores temáticos y para incorporar métricas de evaluación novedosas basadas en las nociones de similitud semánticasimilitud semántica y relevancia parcialrelevancia parcial.

Nivel de información de un término en un conjunto de documentos.Poder descriptivo y discriminante de un término en un documento respecto de un conjunto de documentos.Conjunto predefinidos.Independientes de un contexto.Estudio basado en distribución a lo largo de los tópicos de las páginas recuperadas por un motor de búsqueda.

Distintos roles de los términos

• Descriptores● Términos que aparecen en la mayoríamayoría

de los documentos de un tópico¿Sobre qué trata el tópico?

• Discriminadores● Términos que aparecen sólosólo en los

documentos de un tópico¿Qué términos utilizo para encontrar información similar ?

Distintos roles de los términos

JavaJava

LanguageLanguage

AppletsApplets

CodeCode

Tópico: Máquina Virtual de JavaTópico: Máquina Virtual de Java

NetBeansNetBeansComputersComputers

JVMJVM

RubyRuby ProgrammingProgramming

JDKJDK

VirtualVirtual

MachineMachine

Descriptores y discriminadores

JavaJava

LanguageLanguage

AppletsApplets

CodeCode

JVMJVM

JDKJDK

VirtualVirtual

MachineMachine Buenos descriptoresBuenos descriptores

JavaJava

LanguageLanguage

AppletsApplets

CodeCode

JVMJVM

JDKJDK

VirtualVirtual

MachineMachine

Buenos discriminadoresBuenos discriminadores

ContextoContextoInicialInicial

java 4

machine 2

virtual 1

language 1

programming 3

(1)(1) espressotec.comespressotec.com(2)(2) netbeans.orgnetbeans.org(3)(3) sun.comsun.com(4)(4) wikitravel.orgwikitravel.org

Número de Número de aparicionesapariciones del del término término kk

ii en el documento en el documento dd

H [i , j ]= p

2 5 5 2

6 3 2 0

0 1 1 0

0 2 1 1

0 0 2 0

HH(1)(1) (2) (2) (3)(3) (4)(4)

java 4

machine 2

virtual 1

language 1

programming 3

(1)(1) espressotec.comespressotec.com(2)(2) netbeans.orgnetbeans.org(3)(3) sun.comsun.com(4)(4) wikitravel.orgwikitravel.org

2 5 5 2

6 3 2 0

0 1 1 0

0 2 1 1

0 0 2 0

3 0 0 3

4 0 0 2

4 0 0 1

0 2 1 0

0 3 3 0

HH(1)(1) (2) (2) (3)(3) (4)(4)

java 4

machine 2

virtual 1

language 1

programming 3

coffee 0

island 0

province 0

Número de Número de aparicionesapariciones del del término término kk

ii en el documento en el documento dd

H [i , j ]= p

Poder Poder descriptivodescriptivo de un término de un término en un en un documentodocumento

java 4

machine 2

virtual 1

language 1

programming 3

coffee 0

island 0

province 0

0,000d j , k i=

s H [ i , j ]

∑h=0

m−1s H [ i , h ]

d j , k i=H [ i , j ]

∑k=0

n−1H [ i , j ]2

d 0 , k id 0 , k i

Poder Poder discriminantediscriminante de un de un término en un término en un documentodocumento

Función de similitud Función de similitud entre documentos entre documentos

Similitud por cosenoSimilitud por coseno

sim (d j , d k )=∑h=0

λ(d j , k h) .λ (d k , k h)

Similitud por cosenoSimilitud por cosenoSimilitud por cosenoSimilitud por cosenoSimilitud por coseno1

kk33kk22

Modelo de representación

Modelo vectorialModelo vectorial

javajava 4

machinemachine 2

virtual 1

language 1

programming 3

coffee 0

island 0

province 0

jvmjvm 0

jdkjdk 0

0,3850,385

0,1580,158

0,8480,848

Poder Poder descriptivodescriptivo de un término en de un término en el tópico de un documentoel tópico de un documento

Λ(d j , k i)=∑h=0

h≠ j

sim (d j , dh ) .[ λ (dh ,k i)]2

∑h=0h≠ j

sim(d j ,d h)

d 0 , k i d 0 , k i

Poder Poder discriminantediscriminante de un término de un término en el tópico de un documentoen el tópico de un documento

Δ(d j , k i)=∑ h=0h≠ j

sim (d j , dh ) . [δ(d h , k i)]2

MÉTODO INCREMENTAL DE

RECUPERACIÓN DE INFORMACIÓNBASADO EN CONTEXTO

ContextoContexto

Términos

descriptores

discriminadores

w1 0.5

w2 0.25

w1 0.4

w2 0.37

m 0.01

resultado 01 consulta 01

resultado n consulta n

Método incremental de IRbasado en contexto

Términos

descriptores

discriminadores

w1 0.5

w2 0.25

w1 0.4

w2 0.37

m 0.01

resultado 01

resultado 02

resultado 03

resultado n

consulta 01

consulta 02

consulta 03

consulta n

ContextoContexto

descriptores

discriminadores

w1 0.5

w2 0.25

w1 0.4

w2 0.37

m 0.01

resultado 01

resultado 02

resultado 03

resultado n

consulta 01

consulta 02

consulta 03

consulta n

Términos

ContextoContexto

descriptores

discriminadores

w1 0.5

w2 0.25

w1 0.4

w2 0.37

m 0.01

resultado 01

resultado 02

resultado 03

resultado n

consulta 01

consulta 02

consulta 03

consulta n

Términos

ContextoContexto

descriptores

discriminadores

w1 0.5

w2 0.25

w1 0.4

w2 0.37

m 0.01

MMÉTRICASÉTRICAS

Términos

Contexto1

Contexto

Términos

descriptores

discriminadores

w1 0.5

w2 0.25

w1 0.4

w2 0.37

m 0.01

Términos

resultado 01

resultado 02

resultado 03

resultado n

consulta 01

consulta 02

consulta 03

consulta n

descriptores

discriminadores

w1 0.5

w2 0.25

w1 0.4

w2 0.37

m 0.01

ContextoContexto

descriptores

discriminadores

w1 0.5

w2 0.25

w1 0.4

w2 0.37

m 0.01

Términos

ContextoContexto

descriptores

discriminadores

w1 0.5

w2 0.25

w1 0.4

w2 0.37

m 0.01

Alcances y aplicaciones1. Búsqueda basada en contexto

● Explotan la interacción del usuario con las aplicaciones en su computadora para determinar la tarea actual del usuario y poner en contexto sus necesidades de información.

2. Recuperación de recursos para portales temáticos● Tienen el propósito de reunir recursos sobre temas específicos. El material recolectado se utiliza para construir directorios y sitios de búsqueda especializados.

3. Búsqueda en la Web oculta●Se llama Web Oculta a las páginas generadas dinámicamente como el resultado de una consulta presentada a un formulario de búsqueda en sitios específicos.

4. Soporte para la administración y modelado del conocimiento

● Es el proceso mediante el cual se representa un cuerpo de conocimiento para facilitar su posterior acceso.

PPLATAFORMA DE LATAFORMA DE EEVALUACIÓNVALUACIÓN

consulta 01

consulta 03

consulta n

consulta 02

pedidos

documentos

representación

estadísticas

métricas

Plataforma de evaluación

pedidos

documentos

representación

estadísticas

métricasconsulta 01

consulta 03

consulta n

consulta 02

consulta 01

consulta 02

consulta 03

consulta n

pedidos

documentos

representación

estadísticas

métricas

ARTE DEPORTE

JARDINERIA

JARDINESJAPONESES

BONSAI YSUISEKI

COMPRAS

CASA Y JARDIN

PLANTAS

ÁRBOLES

BONSAI

HISTORIA

JARDINESFAMOSOS

BOTÁNICOS

JARDINES

BONSAI enlace taxonómicoenlace simbólicoenlace relacionado

COCINA

350mil páginas

consulta 01

consulta 02

consulta 03

consulta n

pedidos

documentos

representación

estadísticas

métricas

MMÉTRICASÉTRICAS

✔ PPRECISIÓNRECISIÓN

✔ CCOBERTURAOBERTURA

✔ SSIMILITUDIMILITUD

✔ SSIMILITUD NOVEDOSAIMILITUD NOVEDOSA

✔ PPRECISIÓN SEMÁNTICARECISIÓN SEMÁNTICA

✔ SSIMILITUD SEMÁNTICAIMILITUD SEMÁNTICA

MMÉTRICASÉTRICAS

PPRECISIÓN Y RECISIÓN Y CCOBERTURAOBERTURA

Recuperados Relevantes

Espacio de documentosEspacio de documentos

MMÉTRICASÉTRICAS

Recuperados relevantesRelevantesno recuperados

Recuperados no relevantes

MMÉTRICASÉTRICAS

P=∣A∩R∣∣A∣

C=∣A∩R∣∣R∣

Fβ=(β

2+1)P.C

C+β2 P

MMÉTRICASÉTRICAS

SSIMILITUD Y IMILITUD Y SSIMILITUD NOVEDOSAIMILITUD NOVEDOSA

sim (d j , d k )=d⃗ j . d⃗ k∣⃗d j∣.∣⃗d k∣

simN(q ,d j , d k )=sim (⃗d j−q ,⃗ d k−q)

kk33kk22

MMÉTRICASÉTRICAS

SSIMILITUD SEMÁNTICA Y IMILITUD SEMÁNTICA Y PPRECISIÓN SEMÁNTICARECISIÓN SEMÁNTICA

enlace taxonómicoenlace simbólicoenlace relacionado

ARTE DEPORTE

JARDINERIA

JARDINESJAPONESES

BONSAI YSUISEKI

COMPRAS

CASA Y JARDIN

PLANTAS

ÁRBOLES

BONSAI

HISTORIA

JARDINESFAMOSOS

BOTÁNICOS

JARDINES

BONSAI

COCINA

PS=∑d j∈A

simS (τ (C ) , τ(d j))

∣A∣

consulta 01

consulta 02

consulta 03

consulta n

pedidos

documentos

representación

estadísticas

métricas

GGENÉTICO ENÉTICO MMONO Y ONO Y MMULTIOBJETIVOULTIOBJETIVO

IINCREMENTALNCREMENTAL

BBASEASE

BBOO1-DFR1-DFR y y BBOO11 SUPERVISADO SUPERVISADO

EEVALUACIONESVALUACIONES

Promedio sobre todos los tópicos evaluados

Evaluaciones

AALGORITMOLGORITMO I INCREMENTALNCREMENTAL

Cambio de fase

Formulación de consultas y recuperación de información

00.20.40.60.81

baseBo1

EvaluacionesBaseBo1 (24%)Incremental (67%)

AALGORITMOLGORITMO I INCREMENTALNCREMENTAL

Precisión

00.20.40.60.81

baseBo1

Precisión semántica

EvaluacionesAALGORITMOLGORITMO I INCREMENTALNCREMENTAL

BaseBo1 (28%)Incremental (65%)

00.050.10.150.20.250.30.350.4

baseBo1

Similitud novedosa

EvaluacionesAALGORITMOLGORITMO I INCREMENTALNCREMENTAL

BaseBo1Incremental (100%)

Evaluaciones

Agregativo mejora a los demásNSGA-II mejora a los demás

Bo1* mejora a los demásBase mejora a los demás

AALGORITMOSLGORITMOS G GENÉTICOSENÉTICOS

Precisión

Evaluaciones

Agregativo mejora a los demásNSGA-II mejora a los demás

Bo1* mejora a los demásBase mejora a los demás

AALGORITMOSLGORITMOS G GENÉTICOSENÉTICOS

Cobertura

Conclusiones

➢ Herramienta de Recuperación de Información➔ Ayuda al usuario en la tarea que realiza➔ Soluciona el problema de sensibilidad semántica

• falsos-negativos (distinto vocabulario)• falsos-positivos (java)

➢ Plataforma de evaluación➔ Desarrollo, evaluación y comparación de

algoritmos➔ Nuevas métricas

Trabajo a futuro

➢ Clasificación de texto y clustering➔ Aplicación de las técnicas incrementales

➢ Nuevas métricas y estrategias➔ Mejorar el rendimiento

➢ Disponibilidad➔ Ampliación de la plataforma

Caracterización Formal y Análisis Empírico de Mecanismos Incrementales de Búsqueda basados en Contexto

Universidad Nacional del Sur

Carlos M. Lorenzetti

CONICET

Directores : Guillermo R. SimariAna G. Maguitman

¡MUCHAS GRACIAS!¡MUCHAS GRACIAS!

tesis doctoral - caracterización formal y análisis empírico de mecanismos incrementales de...

Education

cat logo de encoder - · pdf file4 encoders incrementales...

conhecimento empírico x conhecimento científico:

método empírico

e empírico - core

tratamiento empírico de la infección intrabdominal

sexto empÍrico y los alegoristas

marco empírico car ii

tratamento empírico com antifúngicos

collins programa empírico do relativismo

ajuste empírico de controladores pid

diseÑos curriculares basados en competencias diseÑos...

sexto empÍrico contra os gramáticos

empÍrico, sexto - hipotiposes pirronianas

innovación farmacéutica, patentes incrementales y...

redalyc.asertividad: un anÁlisis teÓrico-empÍrico

cnc absolutas e incrementales

espacio destinado al momento empírico de...espacio...

diseño mecanistico - empírico

sistemas incrementales y absolutas

evaluacion de recursos incrementales aportados …