Music Information RetrievalEine Rundreise

Klaus FrielerUniversität Hamburg

Musikwissenschaftliches Institut

Seminar WS 07/08

MIR: Eine Rundreise

Einleitung

• Sehr früh nach Erfindung des Computers wurden diese auch für musikalische Zwecke eingesetzt

• Man kann zwei große Bereiche unterscheiden: Musikproduktion und Musikanalyse

• Uns interessiert die Musikanalyse im weitesten Sinne und darunter der Bereich des Music Information Retrievals

MIR: Eine Rundreise

Information Retrieval

• Das Auffinden von Dokumenten in Datensammlungen, wobei die Suchkriterien vage sein dürfen, und die Dokumente unsichere Inhalte haben können.

• Beispiel: – Ich gebe bei Google „Infomation Retieval“ ein (mit

Tippfehler!) und erhalte dennoch eine Menge Links aller Art, relevant oder nicht.

– Ich habe einen Melodie im Kopf (wahrscheihnlich mit „Fehlern“) und will die Titel der Stücke wissen, die diese Melodie enthalten.

– Ich suche (neue) Musikstücke die gerade gut zu meiner Stimmung passen.

MIR: Eine Rundreise

Information Retrieval

• Information Retrieval entstand zuerst als Textretrieval.

• Das Internet hat den Bedarf nach IR explosionsartig anwachsen lassen.

• Z.B. basiert Googles Erfolg auf einer recht zufriedenstellenden Lösung des Retrieval Problems

• Musik ist Paradebeispiel:– Vage Suchkriterien: Wie formuliere ich Suchanfragen nach

Melodien, Harmonien, Klangfarben, Stimmungen, etc. ?– Unsichere Daten: Wie repräsentiert man musikalischen

Inhalt und wie kommt man ihn ran?

MIR: Eine Rundreise

Music Information Retrieval

• Music Information Retrieval als solches enstand in den letzten 10-15 Jahren (parallel zum Internetboom).

• Erste ISMIR Konferenz 1999• Relativ junges Fach: Noch keine

systematische Darstellung und wenig Lehrbücher vorhanden

• Sehr aktive Forschung • Viele Artikel sind im Netz vorhanden

MIR: Eine Rundreise

Music Information Retrieval

• Klassifikation nach Datenformaten:– Audio, signalbasiert (Wav, mp3 etc)– Symbolisch, Noten-basiert (MIDI, computerfähige

Text-Codes)– (Kon-)Text-basiert (textliche Metadaten)– Hybrid (Mischung von einen oder mehreren der

obigen)

MIR: Eine Rundreise

Music Information Retrieval

• Klassifikation nach Aufgabenstellung:– Information Retrieval im eigentlichen Sinne

• Erkennung musikalischer Inhalte• Such/Retrievalmethoden• Musikanalytische Tools

– Anwendungsorientiertes MIR• Playlist-Erstellung• Musikempfehlung• Partiturverfolgung• Optische Erkennung von Notentexten

– Sonstiges

MIR: Eine Rundreise

Erkennung musikalischer Inhalte

• Tempo-, Beat-, Metrumserkennung, Beattracking • Stimmtrennung, Stimmextraktion, Melodieerkennung• Tonalitäts/Harmonieerkennung • Instrumentenerkennung (Timbre classification)• Erkennung und Bestimmung musikalischer Formen

(Music Structure Discovery)• Gesangstext-Extraktion• Alles zusammen: Automatische Transkription

(monophon, polyphon)• Genre/Mood - Erkennung bzw. Klassifikation

MIR: Eine Rundreise

Retrievalmethoden

• Suchmethoden zum Finden (ähnlicher) Melodien in Melodie-Datenbanken oder in polyphonen Stücken

• Methoden zum Finden (ähnlicher) Musikstücke in Musikdatenbanken (Music Similarity)

• Audio-Fingerprinting/Identification• Gesamtsysteme:

Query-by-(Humming/Whistling/Beatboxing/…/Example)

MIR: Eine Rundreise

Anwendungsorientiertes MIR

• Playlisterstellung: Nach verschiedenen Kriterien und Algorithmen, z.B. (Un-)Ähnlicheit, Genre, Mood, etc. mit Audiofeaturen oder nach Metadaten (z.B. Pandora)

• Musikempfehlung: Im Prinzip dasselbe Spektrum wie Playlist-Erstellung. (Oft auch zusammen…)

• Partiturverfolgung, Partitur-zu-Audio-Ausrichtung. Synchronisation (online oder offline) von Audiodaten zu einer gegeben Partitur (z.B. für Interpretations-Analyse oder als Solistenbegleitung)

• Optische Erkennung von Notentexten: OMR.

MIR: Eine Rundreise

Sonstiges

• Visualisierung von Musiksammlungen nach bestimmten Kirtieren

• Entwicklung von Tools (Marsyas, CLAM, MIR/MIDI Toolbox für Matlab…)

• Evaluation von MIR Systemen (Metriken, Testumgebungen, Testdaten, M2K, MIREX)

• Metadaten-Standards (MPEG-7, Music Ontology, Akkordbezeichnungen)

• Beschaffung von Metadaten (Ground Truth, Annotation)

• Anwenderforschung (Wer, was, wie, wann, warum)• Design und Entwicklung von Anwenderschnittstellen

MIR: Eine Rundreise

Methoden und Techniken

• Eine große Vielzahl von Techniken, oft aus anderen Anwendungsgebieten übertragen (vor allen Spracherkennung und Text Retrieval)

• Grundlegendes Konzept des Features: Musikalische Objekte werden durch ihre Attribute und Eigenschaften beschrieben, zur Datenreduktion und Datenabstraktion.

• Audiofeature, Symbolische Feature, Feature aus Metadaten

MIR: Eine Rundreise

Methoden & Techniken

• Allg. Mathematik – Mengen, Vektorräume – Geometrie: Distanz/Ähnlichkeitsfunktionen– Boolesche und Fuzzy Logik

• Allg. Informatik– Programmierung (z.B. Java, C/C++, Matlab, Scriptsprachen)– Tools (Matlab, Marsyas, CLAM, WEKA …)

• Musikwissenschaft– Allgemeine Musiklehre– Musikpsychologie– Psychoakustik

MIR: Eine Rundreise

Methoden & Techniken

• DSP Techniken– FFT, STFT, Spectogram, Autokorrelation, Wavelets, Filter,

Mel-frequency Cepstral Coefficients (MFCCs), Chromavektoren ...

• Stochastik– Allgemein: Wahrscheinlicheiten, Bayes‘sche Regel, Entropie– Datenreduktion: PCA, ICA, SVD, Clustertechniken– Machine Learning: Support Vector Machines (SVM),

Neuronale Netze, Bayes Klassifier, k-NN… Decison Trees– Modellierung: Gaussian Mixture Models, (Hidden) Markov

Models, Bayes Rule…– Zeitreihenanalyse

MIR: Eine Rundreise

Methoden & Techniken

String/Texttechniken– Edit Distance, „Dynamic Programming“,

Local/Global Alignment, Dynamic Time Warping– N-grams, Suffixtrees, – Textnormalisierung, TF-IDF…