(cosecivi'14) low-cost step aerobics system with virtual aerobics trainer
TRANSCRIPT
Alejandro Rosa-Pujazón Isabel Barbancho Lorenzo J. Tardón Ana M. Barbancho
INTRODUCCIÓN
DESCRIPCIÓN DEL SISTEMA
EVALUACIÓN
CONCLUSIONES Y LÍNEAS FUTURAS
DETECCIÓN DE BEATS: detección de la estructura rítmica
ESTIMACIÓN DE INTENSIDAD: generación de comandos de diferentes niveles de dificultad
Aplicación de nuevas tecnologías a experiencias interactivas con la música
Experiencias más enriquecedoras e inmersivas
Simplifica/Facilita el acceso a experiencias musicales
Nuevos paradigmas de interacción musical que no serían posibles con métodos más tradicionales
3
Objetivo – Simulador de step-aerobics
Bajo coste
Intuitivo y fácil de utilizar
Simulador de step-aerobics
Detección de “gestos” Wii Balance Board
Aplicación Android
4
Paradigma de interacción intuitivo: usuario recibe direcciones por parte del instructor y realiza los pasos indicados
Simulador de step-aerobics
Onsets secuencia de tiempos de ataque de las notas mantiene la información de la estructura rítmica y simplifica el análisis
1ª Función: detectar posición exacta de beats en la melodía
2ª Función: generar comandos de step-aerobics de acuerdo a la intensidad rítmica de la pieza elegida
5
Algoritmo de detección de onsets
Tratamiento diferenciado en sub-bandas de frecuencia
Extracción de picos: - Se eliminan/aglutinan los picos “muy juntos” - Resultado final: secuencia de onsets en el tiempo
6
Análisis en frecuencia para mayor generalidad
Algoritmo de detección de beats (Dixon 2001)
7
Estimación de tempo: se calcula la diferencia en el tiempo de cada par de onsets (Inter-onset Intervals, IOI)
La información rítmica está contenida en los IOI entre 50 ms y 2 s (Handel, 1989)
Algoritmo de clustering sobre el conjunto de IOI genera diferentes hipótesis de tempo (imagen Dixon 2001 ejemplo de 5 posibles valores de tempo a partir de la agrupación de los IOI)
Algoritmo de detección de beats (Dixon 2001)
Sistema basado en agentes para detectar los “beats”
8
Se crea un conjunto de agentes con un valor Tsalto o de los valores de tempo encontrados
A partir de un instante inicial, los agentes recorren la secuencia de onsets en pasos de ti+1 = ti + Tsalto
Si hay onsets “suficientemente cerca” (según un umbral) de ti+1 , se modifica parcialmente el valor de Tsalto para intentar coincidir con el onset encontrado
Al finalizar su recorrido, cada Agente indica una secuencia de instantes temporales, y una puntuación en función de cómo de cerca están dichos instantes a eventos rítmicos (onsets) en la canción
El Agente con mejor puntuación define la posición temporal de los “beats”
Estimación del grado de intensidad
La categoría más común se toma como referencia y se le asigna una intensidad base. La intensidad del resto de categorías se asigna en función de cómo sea su densidad media de onsets con respecto a la referencia
Enventanado de onsets: - Ventanas de Tc~24 golpes de tempo - 50% solapamiento
Función “densidad de onsets”: - Se calcula el total de onsets en la pieza - Se asigna un valor de densidad a cada ventana en función de la relación entre los onsets en la ventana con respecto al total
9
Partimos nuevamente de la secuencia de onsets
Diferentes niveles de densidad de onsets se asocian a diferentes niveles de intensidad rítmica: clustering por k-NN k categorías
Estimación del grado de intensidad
Ejemplo para k=3
10
A B B B C C B B A B B C C B
3 categorías (A, B y C) A B C
Número medio de beats por categoría 15 23 47
Nivel de intensidad asociado Bajo Medio Alto
B es la categoría más común y se toma como referencia. La intensidad de A y C se ajusta en relación al número medio de onsets asociado a las mismas
Asignación de comandos de step-aerobics de dificultad variable en función de la intensidad de cada bloque
Evaluación experimental: 10 participantes
Tres niveles de intensidad: estándar, alto y bajo.
1 sesión de steps con una de 5 canciones posibles.
Comandos presentados por pantalla.
Ejercicios de baja y estándar intensidad: 4 pasos. Alta intensidad: 8 pasos.
0 2 4 6 8 10
Utilidad
Satisfacción
Novedad
Facilidad de uso
Sincronización
Media
Min
Max
11
Implementación de un sistema de bajo coste para simulación de step-aerobics
12
Líneas futuras
Analiza la estructura rítmica y asigna comandos y ejercicios de forma acorde a la intensidad rítmica en cada momento
Añadir comandos por voz y asesoramiento y evaluación profesional para refinar la presentación y secuenciación de los ejercicios
Evaluación con usuarios: se reporta en general una experiencia positiva
Limitaciones: interacción visual y dificultad en la secuenciación de algunos ejercicios
Aplicación como herramienta de apoyo para rehabilitación