reconocimiento biométrico de firma manuscrita: fundamentos, avances y aplicaciones - dr. julián...

Autenticación Biométrica de Firma Manuscrita Dinámica

Grupo de Reconocimiento Biométrico – ATVS (http://atvs.ii.uam.es)Universidad Autónoma de Madrid, Spain

Julián Fiérrez, Prof. Titular de Universidad

(Con contribuciones de Javier Ortega, Marcos Martínez, Javier Galbally y Rubén Vera)

Esquema de la Presentación

1. ATVS - ¿Quiénes Somos?

2. Tecnología de Reconocimiento de Firma

3. Competiciones Internacionales

4. Proyecto e-BioFirma con CECABANK

5. Proyecto Biografo con DGGC

6. Retos en Reconocimiento de Firma

1. Grupo ATVS

Grupo ATVS – Líneas El grupo ATVS se crea en 1992 en la UPM, iniciado por los Catedráticos de Universidad,

en el área de Teoría de la Señal y Comunicaciones, Javier Ortega García y Joaquín González Rodríguez

Sus actividades de I+D+i abarcan diversos aspectos de los campos del tratamiento de señales biométricas: clasificación de patrones, extracción de características, análisis de la interacción hombre‐máquina, análisis estadístico de datos, etc.

Actualmente, el grupo está formado por:

Personal de plantilla (9): 3 Catedráticos de Universidad, 3 Prof. Titulares de Universidad, 2 Prof. Ayudante Doctor, 1 Prof. Asociado

Investigadores Post‐Doctorales (1): 1 contratado Juan de la Cierva

Investigadores Pre‐Doctorales (7): 5 contratados FPI/FPU, 2 contratados con cargo a proyectos.

Otros Investigadores (>15): investigadores jóvenes vinculados a contratos, diversos becarios de PFC.

Grupo ATVS – Personal Líneas de Investigación

HuellaDactilar

Escritor Bases de Datos

FirmaLocutorIdioma

Iris

Biometría Forense

SeguridadMultibiometría

Cara

Grupo ATVS – Méritos CientíficosParticipación initerrumpida en el Plan Nacional de I+D+i desde 1994 (CogniMetrics, Bio‐

Shield, Bio‐Challenge, TeraSense, BiosecurID, BioPass), y en proyectos CENIT/AVANZA.

Participación en el Plan Regional CAM, entre 2006 y 2013 (CONTEXTS).

Participación en Proyecto Europeos: FP5, FP6 (BioSec, Biosecure), FP7 (BEAT, TabulaRasa, BBfor2), H2020 (TRIBE+).

Contratos Internacionales y Nacionales con el Sector productivo: Google ResearchAward, Australian Research Council, NIST –USA, Dirección General de la Guardia Civil, Centro Criptológico Nacional, Cecabank, BBVA, ETS, Telefónica.

Organización de Congresos Científicos: IEEE ICCST Carnahan‐2016, URSI 2016, ICB‐2013, ICB‐09, BioID_MultiComm‐09, ISCA/IEEE Odyssey‐04.

Organización y Participación en Evaluaciones Tecnológicas Competitivas: NIST 2001‐2016, BTAS 2016, FVC‐06, BMEC 2007, SVC‐04.

Producción Científica (últimos 5 años): 4 libros completos, 5 capítulos de libro, 31 artículos en revistas de impacto, 70 comunicaciones en Congresos Internacionales, más de 4.000 citas a sus trabajos; J. Ortega y J. Fiérrez con índices h≥40.

10 Tesis Doctorales leídas

Colaboración científica (estancias, artículos), más de 30 grupos de prestigio internacional.

BEAT, TABULA RASA (FP7 EU, STREP)• Participants: ATVS + 8 European institutions• November 2010 – May 2016: BIOMETRIC SECURITY

TeraSense (Consolider‐Ingenio 2010)• Participants : 16 Spanish Universities• December 2008 – November 2013: BIOMETRICS BEYOND THE VISIBLE

Bio‐Residence, BBfor2 (FP6‐FP7 EU, Marie Curie Actions)• Participants : ATVS, Michigan State University, + 8 European institutions• April 2007 – December 2013: RESEARCH MOBILITY IN BIOMETRICS

BioSec, BioSecure (FP6 EU, IP and NoE)• Participants : 29 European institutions, incl. ATVS• December 2003 – September 2007: BIOMETRIC DATABASES AND RESOURCES

COST‐275, COST‐2101 (ESF EU, COST Actions)• Participants : +15 European Countries• May 2001 – September 2010: BIOMETRIC RESEARCH NETWORKING

MARTA, IDENTICA (CENIT, AVANZA)• July 2007 – December 2010• Entornos Seguros, Seguridad Vehicular Avanzada

CONTEXTS (Comunidad de Madrid)• Participants: ATVS, UAH, UPM, UC3M• January 2010 – December 2013: NEW BIOMETRIC APPLICATIONS

Bio‐Shield, MCYT Bimodal, Biosecur‐ID, Bio‐Pass, Bio‐Challenge(MINECO, MCYT)

• December 2000 – November 2015: BASIC RESEARCH IN BIOMETRICS

Proyectos Públicos – Selección

e‐BioFirma Rec. Firma Dinámica• Funding from: Cecabank• Period: 2014 – 2016

Biografo 2.0: Identificación de Escritor• Funding from: Ministerio del Interior• Period: November 2010 – October 2011

Cátedra Telefónica – UAM• 2010‐2015

GOOGLE, MetaDatos en Identificación Locutor• 2009‐2010

Facial Recognition• Funding from: Ministerio del Interior• Period: January 2012 – December 2013

Common Criteria Development• Funding from: Ministerio de Defensa• Period: January 2009 – December 2010

Automatic Writer & Latent Fingerprint ID• Funding from: Ministerio del Interior• Period: January 2009 – December 2010

Signature Verification over TabletPC• Period : October 2004 – March 2005

Contratos Privados – Selección Grupo ATVS – Premios y DistincionesPremio “Miguel Catalán” a investigadores de menos de 40 años de la CAM a Julian Fierrez

(02/2016).

Medalla en los Premios Jóvenes Investigadores de la Real Academia de Ingeniería a Julian Fierrez (11/2015).

EAB European Biometric Industry Award a Marta Gomez‐Barrero (09/2015).

Siew‐Sngiem Best Paper Award en ICB 2015 (05/2015).

EAB European Biometric IndustryAward a Marcos Martinez‐Diaz (09/2014).

Premios del COIT (2013) a los PFC: 1er PremioCASSIDIAN en Comunicaciones Seguras y Ciberseguridad (F. M. Espinoza); 2º PremioCASSIDIAN enComunicaciones Seguras y Ciberseguridad (M. Moreno); 2º PremioUNITECO en NuevasTecnologías para la Gestión Mejorada de Riesgos (E. González).

EURASIP Best PhD Award, mayor impacto en Procesado de Señal y Comunicaciones (J. Fiérrez, 06/2012).

Premios del COIT (2012) a los PFC: Premio BancoSabadell a las MejoresTecnologías para Aplicaciones Bancarios (J. Franco).

MejorTesis Doctoral de la UAM (J. Galbally, 09/2011).

Premios del COIT (2011) a los PFC: Premio ISDEFE al mejor PFC en Seguridad y Defensa(M. Puertas).

9th European Biometrics Research Award organized by the EAB (European Association for Biometrics).

Winner of the Industry Award: Marta Gómez Barrero, ATVS, UAM, for the work: “FullyUnlinkable and Irreversible Template Protection Based on Bloom Filters”.

European Biometrics Industry Award 2015

http://www.eab.org/award/reports/report2015.html

8th European Biometrics Research Award organized by the EAB (European Association for Biometrics).

Winner of the Industry Award: Marcos Martínez Díaz, ATVS, UAM, for the work: “Graphical Password‐based User Authentication with Free‐form Doodles”.

European Biometrics Industry Award 2014

http://www.eab.org/award/reports/report2014.html?ts=1410595407633

Reconocimiento de Firma Biométrica

sample index

0 50 100 150 200 250 300 350 400

0

2000

4000

x

0 50 100 150 200 250 300 350 400

0

1000

2000

y

0 50 100 150 200 250 300 350 400

0

500

1000

z

0 50 100 150 200 250 300 350 400

1000

1200

1400

azim

uth

0 50 100 150 200 250 300 350 400

400

500

600

altit

ude

J. Fierrez, and J. Ortega‐Garcia, “On‐Line Signature Verification”, Chapter 10 in Handbook of Biometrics, A.K. Jain, A. Ross and P. Flynn (eds.), Springer, pp. 189‐209, 2008.

D. Impedovo and G. Pirlo, “Automatic Signature Verification: The State of the Art” IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, Vol. 38, No. 5, pp. 609‐635, September 2008.

2. Reconocimiento de Firma

Introducción La firma manuscrita es uno de los rasgos biométricos con mayor aceptación

social comomedio de autenticación de documentos, habiéndose usado desdesiglos para realizar transacciones y validar documentos legales.

El reconocimiento automático de firma mantiene en la actualidad algunosretos de carácter general:

Alta variabilidad intra‐usuario (biometría conductual, inter‐sesión…)

Se requieren varias muestras de la firma del usuario genuino (no siempre seráposible, dependerá del tipo de aplicación).

Variabilidad intra‐usuario pequeña (posible existencia de imitacionesentrenadas, skilled forgeries); baja permanencia temporal

El grado de semejanza entre la imitación y el original es impredecible

Firmas genuinas Skilled ForgeryAlta variabilidad Baja variabilidad

Motivación

Enorme proliferación de dispositivos con capacidad de captura de informaciónmanuscrita.

Dispositivos ‘de sobremesa’:

• Alta calidad de captura

• Sensores con capacidad para adquirir información digital instantánea a frecuencias de 100 ~200 muestras/seg

• Información de desplazamiento (ejes x e y), de presión, y de ángulos(azimut y elevación) del útil respecto al plano de firma.

• Es posible capturar la información de trazos ‘en vuelo’

Dispositivos móviles:

• Universalidad y ubiquidad de las soluciones

• Calidad de captura heterogénea

• Sensores limitados en su capacidad de adquisición

• Ergonomía, potencial problema

Espacio Limitado

Mayor VariabilidadIntra‐Usuario

Útil / Dedo

Ergonomía

Posición

Falta de trayectorias ‘envuelo’

Calidad de Muestreo

Falta de Informaciónde Presión

Verificación de Firma en Movilidad

2. Proceso de Autenticación

Etapas en el Proceso de Autenticación

1. Adquisición de Datos y Pre‐Procesado

2. Extracción de Características

3. Cáculo de Similitud (Matching)



3. Cálculo de Similitud (Matching)


Escenario de adquisición (i)

Información online (funciones temporales) + offline (imagen del grafo)

sample index

0 50 100 150 200 250 300 350 4000

2000

4000

x

0 50 100 150 200 250 300 350 4000

1000

2000

y

0 50 100 150 200 250 300 350 4000

500

1000

z

0 50 100 150 200 250 300 350 4001000

1200

1400

azim

uth

0 50 100 150 200 250 300 350 400400

500

600al

titud

e

Altitude (0°-90°)

90°

270°

0°

Azimuth (0°-359°)

180°

Altitude (0°-90°)

90°

270°

0°

Azimuth (0°-359°)

180°

Información Dinámica – On-Line La información dinámica – online (presión, velocidad, aceleración) mejora

mucho la separación entre firmas genuinas, imitaciones y casuales

Información online (funciones temporales)

Escenario de adquisición (ii)

0 50 100 150 200 250 300 350 4000

2000

4000

x

0 50 100 150 200 250 300 350 4000

1000

2000

y

0 50 100 150 200 250 300 350 4000

500

1000

z

1400• La tableta captura muestras de la posición del útil a lo largo de la trayectoria de firma

• Se define una frecuencia de muestreo: n puntos por segundo (100 ~ 200 hz.)

• Los puntos están equiespaciados en el tiempo, no en su ubicación espacial

Adquisición de la Firma: Muestreo Espacial

Normalización (necesaria siempre):

• Invarianza a la traslacióno coordenadas relativas al punto de comienzo, o al centro de masas …o coordenadas relativas al punto anterior (∆ , ∆ )

• Invarianza con la escalao Ajuste a tamaño prefijado

• Invarianza a la rotacióno Detección y giro respecto a

eje principal

Remuestreo (no siempre necesario):

• Se reduce o se normaliza el número de muestras para obtener puntos equidistantes en el espacio.

• Problemas: pérdida potencial de información• Solución: Inserción de puntos críticos (cambio de trayectoria, comienzo y final

de firma, …) como guía de remuestreo. ...

Adquisición de Firma: Pre-Procesado

1. Adquisición de Datos y Pre-Procesado


3. Cálculo de Similitud (Matching)


Representación por Características Globales

Ejemplos de Características Globales

XY

PA

z

0 100 200 300

Al

Signature Representation: Global Features

Examples of Global Features

XY

PA

z

0 100 200 300

Al

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.90

5

10

15

20

25

Signature duration (Feature num. 1)

Num

ber o

f pen

-ups

(Fea

ture

num

. 2)

Genuine signatures from all usersSpecific user signaturesSkilled forgeries

0 50 100 150 200 250 300 350 400 4500

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Aver

age

pen

spee

d (F

eat u

re n

um. 2

6)

Genuine signatures from all usersSpecific user signaturesSkilled forgeries

Representación por Características Locales

Ejemplos de SecuenciasTemporales basadas en Características LocalesX

YP

Az

0 100 200 300

Al

Aportación relativa de cada Secuencia

0 2 4 6 8 10 12

x, y

x, y, p

x, y, p, γ

x, y, p, γ, Ф

x, y, p, θ

x, y, p, θ, v

x, y, p, θ, v, ρ

w = x, y, p, θ, v, ρ, a

[w, Δw] EER (%)

0.2 0.5 1 2 5 10 20 40

0.2

0.5 1 2

5

10

20

40

Tasa de Falsa Aceptación (%)

Tasa

de

Fals

o Re

chaz

o (%

)

x,yx,y,px,y,p,γx,y,p,Φ

0.2 0.5 1 2 5 10 20 40

0.2

0.5 1 2

5

10

20

40

Tasa de Falsa Aceptación (%)

Tasa

de

Fals

o Re

chaz

o (%

)

x,y,p,θx,y,p,θ,vx,y,p,θ,v,ρx,y,p,θ,v,ρ,a



3. Medida de Similitud (Matching)

Etapas en el Proceso de Autenticación Enfoques usando Secuencias Temporales

Modelos Ocultos de Markov Alineamiento Temporal Dinámico

Correspondencia punto a puntoModelado Estadístico de las Regiones de la Firma

Ejemplo: HMM5 muestras entrenamiento(x,y) como vectores de características1 estado, 8 mezclas de Gaussianas

HMM DTW

3. Competiciones Internacionales

Competición SVC 2004 Escenario: Firma dinámica capturada con tabletaWacom

Número de firmantes: 40

Entrenamiento:• Auténticas: 5 firmas genuinas de la primera sesión.

• Reconocimiento:

• Auténticas: Las 10 firmas restantes de la segunda sesión.

• Imitaciones Casuales: 20 firmas tomadas aleatoriamente de 20 usuarios distintos(entre sí y del usuario objetivo).

• Falsificaciones: Las 20 falsificaciones disponibles.

D. Yeung, et al., “SVC2004: First International Signature Verification Competition”, Proc. of Intl. Conf. on Biometric Authentication, ICBA-04, pp.: 16–22, Springer LNCS-3072, July 2004.

Signature Verification Competition, SVC-04

Sistemas ATVS-UAM

SVC-04 con imitaciones

SVC-04 sin imitaciones

http://www.cs.ust.hk/svc2004/

BioSecure Multimodal Database

667 donantes

Equilibrio entre géneros; 18~65, distribución de edades

Dos dispositivos de firma para todos los usuarios Tablet Dispositivo Móvil

2 sesiones separadas meses; cada uno dividida en 3 bloques de 5 firmas

Permite la comparación sistemática de ambos dispositivos de captura

Imitaciones de muy alta calidad

Las imitaciones se hicieron conociendo la dinámica específica de cada firma; incluso era posible firmar sobre la imagen de la firma objetivo.

J. Ortega-Garcia, J. Fierrez, et al., “The Multi-Scenario Multi-Environment BioSecure Multimodal Database”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 2010

Evaluación de Rendimiento: Bases de Datos

Algunas muestras de ‘BioSecure Multimodal DB’:Tablet Móvil

Evaluación de Rendimiento: Bases de Datos

Sin Imitaciones Con Imitaciones

Incremento de EERs

3 evaluaciones públicas de referencia

BioSecure Multimodal Evaluation Campaign, BMEC 2007

Evaluación sobre la ‘BioSecure Multimodal Database’

Firma dinámica capturada con dispositivo móvil

http://biometrics.it-sudparis.eu/BMEC2007/

Evaluación de Rendimiento, BMEC2007


BioSecure Signature Evaluation Campaign, BSEC 2009


Tarea 1: Móvil vsTablet, interoperabilidad entre sensores

http://biometrics.it-sudparis.eu/BSEC2009/

Evaluación de Rendimiento: Comparación

Sistemas ATVS-UAM, clasificados en 1er lugar


BioSecure Signature Evaluation Campaign, BSEC 2009


Tarea 2: Efecto de la variabilidad temporal

http://biometrics.it-sudparis.eu/BSEC2009/

Evaluación de Rendimiento: Comparación

Sistemas ATVS-UAM, clasificados en 1er lugar

Evaluación competitiva en comparación 1 a 1 de firmas online y offline (escenario típico de cotejo forense)

3 tareas diferentes: sólo online, sólo offline, combinación offline + online

Competición SigComp 2009: Resultados

Vivian L. Blankers, C. Elisa van den Heuvel, Katrin Franke, Louis Vuurpijl: “ICDAR 2009 SignatureVerification Competition”, Proc. of ICDAR 2009, pp: 1403-1407.

http://sigcomp09.arsforensica.org/

Combinación offline + online ATVS‐UAM, 1er clasificado

4. Proyecto e-BioFirma con CECABANK

Adquisión de base de datos e‐BioSign

‐ Compuesta por 70 usuarios en 2 sesiones de captura. 5 dispositivos. 5000 firmas.

Solución A: Comparación de Datos Biométricos de Firmas Manuscritas Digitalizadas en el Ámbito Forense.

‐ Nueva versión de Herramienta Forense SignAnalyzer para análisis y comparación de firmas dinámicas. Mejora muy significativa respecto versión inicial.

‐ Desarrollo de módulo de comparación de firmas dinámicas basado en funciones temporales de las firmas y algoritmo de comparación DynamicTime Warping (DTW).

Objetivos Proyecto e-BioFirma1 (Solución A) Base de Datos e-BioSign

• Esquema de captura multi‐dispositivo

• Permite abordar la problemática de robustez en escenarios de inter‐operabilidad

• 5 dispositivos (3 tabletas Wacom y 2 dispositivos Samsung)

• Incluye muestras tanto de firma como de escritura

• Se considera también la escritura con el dedo sobre pantalla (entornos de movilidad)

• 70 usuarios, 2 sesiones de captura separadas algunas semanas

• Para cada usuario, se cuenta con un total de 7 firmas en cada sesión: 4 genuinas y 3 imitaciones entrenadas

• Un total de 560 firmas genuinas y 420 imitaciones entrenadas

R. Vera-Rodriguez, R. Tolosana, J. Ortega-Garcia and J. Fierrez, "e-BioSign: Stylus- and Finger-InputMulti-Device Database for Dynamic Signature Recognition", in Proc. IWBF 2015.

Dispositivos empleados en e-BioSign

1.Wacom STU‐500.2.Wacom STU‐530.3.Wacom DTU‐1031.4.Tablet Samsung Galaxy Note 10.15.Tablet Samsung Ativ 7.

(2)

(3) (4) (5)

(1)

El objetivo ha sido el desarrollo de una herramienta de análisis grafístico forense (SignAnalyzer) que permitiera que los peritos grafísticos pudieran analizar firmas biométricas dinámicas

• Caraterísticas básicas de SignAnalyzer:

• Es compatible con el análsis análisis tradicional de firma estática sobre papel

• Puede trabajar simultáneamente con varias firmas (dubitadas e indubitadas), reproduciendo sus características dinámicas, permitiendo el alineamiento temporal y espacial de las mismas, posibilitando la selección de trazos específicos para un análisis de detalle (ángulos, distancias, velocidad)

• Incorpora medidas cuantitativas de parámetros ‘subjetivos’ como el temblor y la fluidez de las firmas.

• Da apoyo estadístico al perito forense sobre algunos parámetros especialmente relevantes (duración de la firma, fluidez, temblor, …)

• Incluye un sistema de reconocimiento de firma biométrica dinámica basado en relaciones de verosimilitud (likelihood ratios, LRs)

La herramienta grafística forense SignAnalyzer

Objetivo 1. Desarrollo de herramienta SignAnalyzer que permite realizar análisis forense y comparación de firmas dinámicas.

Posibilidad de realizar un cotejo “tradicional” con información de la imagen.

Adicionalmente, inclusión de conjunto amplio de funcionalidades para analizar la información dinámica, estadísticas poblacionales, y comparación automática.

Carga de varias firmas simultáneamente, permitiendo realizar análisis tanto espacial como temporal. Permite realizar normalización espacial y temporal.

La herramienta SignAnalyzer (i)Análisis multi-firma con superposición

Análisis multi-firma con superposición

Análisis individual de cada firma:

Visualización de realización de la firma (video), incluyendo la información en vuelo.

Selección de trazos de la firma para análisis de detalle. Permite la selección desde la imagen espacial como desde la información temporal.

La herramienta SignAnalyzer (ii)Gradiente de color presión y velocidadGradiente de color presión y velocidad

Análisis en detalle de trazos seleccionados. Funcionalidades: medidas de longitud, ángulos, áreas, zoom, rotación, desplazamientos laterales, visualización de muestras de la firma, etc.

Análisis estadístico de varios parámetros (duración, velocidad, aceleración, fluidez y temblor) sobre población de firmas de referencia para dotar de apoyo estadístico el informe del experto forense.

La herramienta SignAnalyzer (iii)Trayectoria de vuelo del bolígrafo durante

el recorrido

Trayectoria de vuelo del bolígrafo durante

el recorrido

Estadística poblacional: velocidad, duración, aceleración,

fluidez y temblor

Estadística poblacional: velocidad, duración, aceleración,

fluidez y temblor

Objetivo 2. Desarrollo de sistema de comparación de firmas dinámicas en el ámbito de oficina bancaria basado en DTW.

Evaluación de rendimiento del sistema desarrollado, en comparación con la tecnología de Cecabank (valores de EER), sobre base de datos BioSecure:

CECABANK Solución B

Cecabank ATVSComp. 1:1 8,8 % 1,1 %Comp. 5:1 6,9 % 0,3 %

Cecabank ATVSComp. 1:1 16,8 % 8,0 %Comp. 5:1 13,7 % 5,6 %

EER (%) Comparaciones entre usuarios genuinos EER (%) Comparaciones con imitaciones de firmas

5. Proyecto Biografo con DGGC

54

Reconocimiento Automático de EscritorEl problema

Preprocesado: segmentación

¿ ?

1980

Estudios individuales: No evaluaciones competitivas

EER≈25%: comparaciones 5:1SER≈10% (sólo líneas)

2009

ICDAR 2009 Sig. Verif. Comp.:EER=9.15% Condiciones forenses 1:1

EER≈3%: comparaciones 5:1SER=3.1%: error de segmentación

(líneas+palabras)

Evolución de la solución

Reconocimiento

2005

SAIGBIÓGRAFO

V1.0

55

Resultados 2009-2010

Desarrollo de mejoras sobre la capacidad de identificación de Biógrafo v1.0 (prototipos MATLAB sin interfaz gráfico): Motor de reconocimiento 1 con características: de gradiente,

estructurales, de concavidad y geométricas Motor de reconocimiento 2 con otras características locales de

contorno: dirección, curvatura, coocurrencia de direcciones y run-length

Motor de reconocimiento 3 con características de emisión alográfica

Fusión de los tres sistemas de reconocimiento

Top 1 Top 5 Top 1078 % 88% 97%

Top 1 Top 5 Top 1593 % 100% 100%

Bv1.0 Mejoras sobre Bv1.0

56

Resultados 2010-2011: Biógrafo v2.0Desarrollo de Biógrafo v2.0: herramienta de apoyo al experto a través del cálculo

objetivo de similitud en reconocimiento de escritor. Alta modularidad y escalabilidad Herramienta de gestión de grandes bases de datos Herramientas de segmentación y de edición gráfica Herramientas de reconocimiento selectivo Facilidad de uso del interfaz gráfico Funcionamiento sobre cualquier plataforma (prog. en Java)

Bv1.0 Mejoras 2009-2010

BIOGRAFO V2.0

+

57

Recorte y corrección de muestras capturadas

Resultados 2010-2011: Biógrafo v2.0

58

Resultados 2010-2011: Biógrafo v2.0Gestión de usuarios, documentos y muestras

59

Resultados 2011: BD de Escritor DGGC

Digitalización de documentos indubitados y dubitados(550 usuarios, 1-8 docs/usuario)

Utilización de Biógrafo v2.0: Creación de una DB relacional:

usuarios-documentos-caracteres Gestión de la DB Captura de caracteres:

(5 muestras x 60 caracteres x 550 usuarios ≈ 165.000 muestras)

Pruebas de reconocimiento sobre la DB (en desarrollo)

6. Retos en Reconocimiento de Firma

RETO 1: Caracterización de escenarios e interoperabilidad de sensores

M. Martinez‐Diaz, J. Fierrez, R. P. Krish and J. Galbally, "Mobile Signature Verification: Feature Robustness and Performance Comparison", IET Biometrics, Vol. 3, n. 4, pp. 267‐277, December 2014.

CaracterizaciónBase de conocimiento


RETO 2: Uso continuo de información de contexto

P. Aleksic, M. Ghodsi, et al. “Bringing Contextual Information to Google Speech Recognition”, Interspeech, 2015.F. Alonso‐Fernandez, J. Fierrez, and J. Ortega‐Garcia, “Quality Measures in Biometric Systems”, IEEE Security & Privacy, December 2012.F. Alonso‐Fernandez, J. Fierrez, et al., "Quality‐Based Conditional Processing in Multi‐Biometrics: application to Sensor Interoperability", IEEE Trans. on Systems, Man and Cybernetics A, Vol. 40, n. 6, pp. 1168‐1179, 2010.

Calidad de Señal, Información del Sensor, etc.


0.1 0.2 0.5 1 2 5 10 20 40

0.1

0.2

0.5

1

2

5

10

20

40

FAR (in %)

FR

R (

in %

)

HMM System

BID 1−2BID 1−3BID 1−4BID 1 − Bure1BID 1 − Bure2

RETO 3: Adaptación de modelos con el tiempo

J. Galbally, M. Martinez‐Diaz and J. Fierrez, "Aging in Biometrics: An Experimental Analysis on On‐Line Signature", PLOS ONE, July 2013.

2 meses4 meses6 meses

12 meses15 meses

2 meses4 meses6 meses

12 meses15 meses

Prob

abilid

ad

Puntuaciones

RETO 3: Adaptación de modelos con el tiempo

0.1 0.2 0.5 1 2 5 10 20 40

0.1

0.2

0.5

1

2

5

10

20

40

FAR (in %)

FR

R (

in %

)

HMM System

BID1−Bure13Bure11−Bure13BID1+Bure11−Bure13Bure11+Bure12−Bure13

Referencia: 12 meses (4 firmas)Registro actual (4 firmas)

Registro mixto (4 + 4 firmas)Registro completo (8 firmas)

J. Galbally, M. Martinez‐Diaz and J. Fierrez, "Aging in Biometrics: An Experimental Analysis on On‐Line Signature", PLOS ONE, July 2013.

RETO 4: Adaptación a especificidades de usuarios

J. Fierrez, J. Ortega‐Garcia and J. Gonzalez‐Rodriguez, "Target Dependent Score Normalization Techniques and their Application toSignature Verification", IEEE Trans. on Systems, Man and Cybernetics‐C, August 2005.

Caracterización del firmante


firmante 1

firmante N

RETO 5: Aprovechamiento de datos masivos


Big Data

Deep Learning

infoanónima

Ignacio Lopez‐Moreno, Javier Gonzalez‐Dominguez, Oldrich Plchot, "Automatic Language Identification Using Deep Neural Networks", Proc. IEEE ICASSP, May 2005.

Autenticación Biométrica de Firma Manuscrita Dinámica

Grupo de Reconocimiento Biométrico – ATVS (http://atvs.ii.uam.es)Universidad Autónoma de Madrid, Spain

reconocimiento biométrico de firma manuscrita: fundamentos, avances y aplicaciones - dr. julián...

Engineering