Audio-Fingerprinting ist die Technik hinter jeder „Welcher Song ist das?“-App. Es reduziert eine Aufnahme auf eine kleine, unverwechselbare Signatur (den Fingerabdruck), speichert Signaturen für Millionen von Titeln und gleicht später einige Sekunden aufgenommenen Schalls mit diesem Index ab. Damit können Shazam, die AHA Music-Erweiterung oder ein Broadcast-Monitor einen Song in einem lauten Café in weniger als einer Sekunde benennen.
Dieser Artikel erklärt die Methode so, wie sie in der Praxis eingesetzt wird, wogegen sie robust ist, wo sie versagt und welche anderen Verfahren (Melodie-Matching, Cover-Song-Erkennung, neuronale Embeddings) die Fälle abdecken, die sie nicht abdecken kann.
Definition
Ein Audio-Fingerabdruck ist eine kompakte, inhaltsbasierte Zusammenfassung eines Audiosignals, die so ausgelegt ist, dass zwei Aufnahmen desselben Titels denselben Fingerabdruck ergeben, auch wenn eine davon verzerrt, komprimiert, über einen Lautsprecher abgespielt und erneut aufgenommen oder auf einen kurzen Ausschnitt gekürzt wurde. Ein Fingerprinting-System ist das Paar aus einem Fingerabdruck-Extraktor und einem Index, der einen Query-Fingerabdruck schnell unter Millionen von Referenz-Fingerabdrücken findet.
Das Wort „Fingerabdruck“ ist bewusst gewählt: Wie ein menschlicher Fingerabdruck identifiziert er eine bestimmte Aufnahme, nicht den Song als Komposition. Diese Unterscheidung erklärt die meisten Grenzen der Methode.
Wie Audio-Fingerprinting funktioniert, Schritt für Schritt
Das Design, das die meisten Apps verwenden, stammt von dem Algorithmus ab, den Avery Wang 2003 für Shazam beschrieb („An Industrial-Strength Audio Search Algorithm“, ISMIR 2003). Die Schritte sind:
1. Spektrogramm
Das Audio wird in kurze, überlappende Fenster geschnitten, und jedes Fenster wird in ein Spektrum umgewandelt, was eine Zeit-Frequenz-Karte ergibt, die zeigt, wo die Energie liegt. Hier werden Tempo, Tonhöhe und Timbre als Muster sichtbar.
2. Peak-Auswahl (Peak Picking)
Statt das gesamte Spektrogramm zu behalten, behält der Extraktor nur lokale Energiespitzen (Peaks): Punkte, die sowohl in der Zeit als auch in der Frequenz lauter sind als ihre Nachbarn. Peaks überstehen Hintergrundgeräusche, minderwertige Mikrofone und MP3-Kompression deutlich besser als das vollständige Signal, weil ein Peak ein Peak bleibt, auch wenn alles um ihn herum verschmiert wird. Wang nannte die daraus entstehende dünn besetzte Punktmenge eine „Constellation Map“ (Konstellationsdiagramm).
3. Hashing von Peak-Paaren
Jeder Peak wird mit einigen Peaks gepaart, die kurz darauf folgen. Ein Paar wird in einen Hash aus (Frequenz von Peak A, Frequenz von Peak B, Zeitabstand zwischen beiden) umgewandelt. Paare sind weit spezifischer als einzelne Peaks, sodass ein einzelner Hash bereits fast jeden Titel im Katalog ausschließt. Jeder Hash wird zusammen mit dem Zeitpunkt gespeichert, an dem er im Referenztitel auftritt.
4. Abgleich über den Zeitversatz
Bei der Anfrage werden dieselben Hashes aus dem aufgenommenen Clip berechnet und im Index nachgeschlagen. Jeder Treffer sagt: „Dieser Hash kommt zum Zeitpunkt t in Titel X vor.“ Beim richtigen Titel häufen sich die Differenzen zwischen Referenzzeit und Anfragezeit auf einen Wert – den Versatz, an dem der Clip im Song liegt. Bei falschen Titeln streuen die Differenzen. Eine starke Häufung ist ein Treffer, und ihr Versatz verrät auch genau, an welcher Stelle im Song der Clip herkommt; so kann AHA Music jedem Song, den es in einem Videolink findet, einen Zeitstempel zuordnen.
Warum es in einem lauten Café funktioniert
- Sparsität. Es werden nur Peaks behalten, und Peaks sind das, was Rauschen, Nachhall und Kompression übersteht.
- Spezifität. Peak-Paare mit Zeitabstand sind selten genug, dass einige Dutzend übereinstimmende Hashes einen Titel unter 100 Millionen identifizieren.
- Kurze Anfragen. Da der Abgleich auf dem Zählen konsistenter Hashes beruht, enthält ein Clip von etwa 5 Sekunden meist genug davon. Mehr Audio hilft bei sehr geräuschvollen Bedingungen, ist aber selten nötig.
- Geschwindigkeit. Hash-Lookups sind Index-Lookups, daher dauert die Suche in einem Katalog mit zig Millionen Titeln Millisekunden statt eines Durchlaufs durch das Audio.
Wo Fingerprinting scheitert
Weil der Fingerabdruck eine bestimmte Aufnahme beschreibt, erzeugt alles, was derselbe Song, aber eine andere Aufnahme ist, ein anderes Konstellationsdiagramm (constellation map) und führt zu keinem Treffer:
- Summen, Pfeifen und Singen. Die eigene Stimme hat keinen der Peaks der Studioproduktion. Ein Fingerprint-System liefert nichts zurück – deshalb hat Shazam nie eine Summen-Suche angeboten.
- Coverversionen, Live-Auftritte und Karaoke. Andere Instrumente, anderes Tempo und andere Tonart bedeuten andere Peaks. Die Komposition ist dieselbe, die Aufnahme nicht.
- Remixe und stark bearbeitete Edits. In der Tonhöhe verschobene oder zeitlich gedehnte Versionen verschieben die Peaks und brechen die meisten Hashes, obwohl manche Systeme eine Toleranz für kleine Geschwindigkeitsänderungen einbauen.
- Tracks, die nicht im Index sind. Fingerprinting kann nur Aufnahmen finden, die jemand zuvor gefingerprintet hat. Die Kataloggröße zählt: ACRCloud, die Engine hinter AHA Music, indexiert mehr als 100 Millionen Tracks.
Was die Lücken füllt: Melodievergleich, Cover-Song-Erkennung und Embeddings
| Technik | Was verglichen wird | Bewältigt | Verwendet von |
|---|---|---|---|
| Audio-Fingerprinting | Spektrale Peak-Muster einer Aufnahme | Verrauschte oder kurze Ausschnitte derselben Aufnahme | Shazam, AHA Music Record-Modus, Broadcast-Monitoring, Matching im Stil von YouTube Content ID |
| Query by Humming (Melodievergleich) | Die Tonhöhenkontur einer gesungenen oder gesummten Melodie gegen gespeicherte Melodien | Summen, Pfeifen, Singen, schiefe Töne | SoundHound, Google Hum to Search (Summen zum Suchen), AHA Music Hum-Modus |
| Cover-Song-Erkennung (cover-song identification) | Tonart- und tempoinvariante harmonische Merkmale (Chroma) einer Aufnahme gegen Referenzkompositionen | Covers, Live-Versionen, Karaoke, andere Arrangements | AHA Music Hum-/Cover-Modus (Cover-Song-Engine von ACRCloud) |
| Neuronale Audio-Embeddings | Gelernte Vektoren, die ähnlich klingendes Audio nah beieinander platzieren | Alles, worauf das Modell trainiert wurde, inklusive gesummter Melodien; auch für die Erkennung von KI-Musik genutzt | Google Hum to Search, KI-Musik-Detektoren |
In der Praxis setzt eine moderne Song-Suche mehr als eine dieser Techniken ein. AHA Music zum Beispiel nutzt ACRCloud-Fingerprinting für die Erkennung per Mikrofon, Datei und Link, eine Summen-Engine für Melodien und eine Cover-Song-Engine, die die Komposition hinter einem Cover erkennt und das Original zurückgibt, wobei die Browser-Erweiterung automatisch vom Fingerprinting zur Cover-Erkennung übergeht. Der AI Music Detector ist wieder ein anderes Problem: Er ist ein Klassifikator über erlernte Audio-Merkmale statt eines Nachschlagens.
Wo Audio-Fingerprinting eingesetzt wird
- Song-Erkennung für Endnutzer: Shazam, SoundHound, Google, AHA Music und ihre Browser-Erweiterungen.
- Rechte und Urheberrecht: Plattformen gleichen Uploads mit Referenzkatalogen ab, um urheberrechtlich geschützte Musik zu erkennen (YouTubes Content ID ist das bekannteste Beispiel).
- Broadcast- und Radio-Monitoring: Erfassen, welche Songs wann auf welchem Sender liefen – die Daten hinter Airplay-Charts wie den Radio Charts von AHA Music.
- Second Screen und Werbung: Eine TV-Sendung oder Werbung anhand ihres Tons erkennen, um Inhalte zu synchronisieren.
- Deduplizierung und Katalogbereinigung: Identische Aufnahmen unter unterschiedlichen Metadaten finden.
Fragen & Antworten
Ist ein Audio-Fingerabdruck dasselbe wie ein Hash der Datei?
Nein. Ein Datei-Hash (MD5, SHA-256) ändert sich, sobald sich ein einziges Bit ändert – eine neu kodierte MP3 würde also nicht übereinstimmen. Ein Audio-Fingerabdruck wird aus dem Klang selbst berechnet und ist so ausgelegt, dass er bei Kompression, Resampling und Aufnahme über ein Mikrofon gleich bleibt.
Wie viele Sekunden Audio braucht die Erkennung?
Rund 5 Sekunden reichen in der Regel für einen sauberen Treffer in einem Fingerprint-Index; 10–15 Sekunden helfen in lauten Räumen. Die Summenerkennung (Humming Recognition) benötigt typischerweise 10–15 Sekunden Melodie.
Kann Fingerprinting einen Song am Summen erkennen?
Nein. Summen reproduziert nicht die spektralen Spitzen der Aufnahme. Nutze stattdessen ein Melodie-Matching-Tool: SoundHound, Google Hum to Search (Summen zum Suchen) oder den Summen-Song-Finder von AHA Music.
Warum scheitert Shazam bei einer Live-Version eines Songs, den es kennt?
Weil eine Live-Aufführung eine andere Aufnahme mit anderen Spitzen ist. Fingerprinting identifiziert Aufnahmen, nicht Kompositionen. Eine Cover-Song-Engine wie der Hum-/Cover-Modus von AHA Music gleicht die Komposition ab und liefert das Original.
Speichert der Erkennungsdienst meine Aufnahme?
Das hängt vom Dienst ab. AHA Music verarbeitet Aufnahmen und Uploads zur Erkennung und speichert sie nicht dauerhaft; siehe die Datenschutzerklärung.
Kann ich Audio-Fingerprinting in meiner eigenen App nutzen?
Ja, über eine API. AHA Music bietet selbst keine an, aber die Engines, die es verwendet, sind bei ACRCloud erhältlich; die Entwicklerseite von AHA Music erklärt, wie man loslegt.