오디오 지문 인식(audio fingerprinting)은 ‘이게 무슨 노래지?’ 하는 모든 앱의 바탕이 되는 기술입니다. 녹음된 음원을 작고 특징적인 서명(지문)으로 축약하고, 수백만 곡의 서명을 저장한 뒤, 나중에 몇 초간 포착한 소리를 그 색인과 대조합니다. 소음이 가득한 카페에서도 Shazam, AHA Music 확장 프로그램, 방송 모니터링 시스템이 1초 안에 곡 이름을 알려주는 것은 이 기술 덕분입니다.
이 글은 실제로 쓰이는 방식대로 이 방법을 설명하고, 이 방법이 무엇에 강하고 어디서 무너지는지, 그리고 그 빈틈을 메우는 다른 기법(멜로디 매칭, 커버곡 식별, 신경망 임베딩)이 무엇인지 다룹니다.
정의
오디오 지문은 오디오 신호를 내용 기반으로 요약한 압축된 표현으로, 같은 곡의 두 녹음이 — 하나가 왜곡되거나 압축되거나 스피커로 재생된 뒤 다시 녹음되었거나 짧은 구간만 잘려 있어도 — 동일한 지문을 만들어내도록 설계됩니다. 지문 인식 시스템은 지문 추출기와, 질의 지문을 수백만 개의 참조 지문 중에서 빠르게 찾아내는 색인, 이 둘의 조합입니다.
‘지문’이라는 단어는 의도된 선택입니다. 사람의 지문처럼 이것은 곡조(작곡)가 아니라 특정 녹음을 식별하기 때문입니다. 이 구분이 이 방법의 한계 대부분을 설명해 줍니다.
오디오 지문 인식의 동작 단계
대부분의 앱이 사용하는 설계는 Avery Wang이 2003년 Shazam을 위해 설명한 알고리즘("An Industrial-Strength Audio Search Algorithm", ISMIR 2003)에서 비롯되었습니다. 단계는 다음과 같습니다.
1. 스펙트로그램
오디오를 짧게 겹치는 창으로 나누고 각 창을 스펙트럼으로 변환하면, 에너지가 어디에 있는지 보여주는 시간-주파수 지도가 만들어집니다. 템포, 음높이, 음색이 패턴으로 드러나는 지점입니다.
2. 피크 선택
스펙트로그램 전체를 유지하는 대신, 추출기는 국소 에너지 피크만 남깁니다. 즉 시간과 주파수 양쪽에서 이웃보다 큰 지점들입니다. 피크는 주변 전체가 흐려져도 피크로 남기 때문에, 배경 소음, 저품질 마이크, MP3 압축을 전체 신호보다 훨씬 잘 견딥니다. Wang은 이렇게 남은 듬성듬성한 점들의 집합을 ‘성좌 지도(constellation map)’라고 불렀습니다.
3. 피크 쌍 해싱
각 피크는 그 뒤를 곧바로 따라오는 몇 개의 피크와 짝지어집니다. 한 쌍은 (피크 A의 주파수, 피크 B의 주파수, 두 피크 사이의 시간 간격)으로 이루어진 해시로 변환됩니다. 쌍은 단일 피크보다 훨씬 구체적이어서, 해시 하나만으로도 카탈로그의 거의 모든 곡이 후보에서 제외됩니다. 각 해시는 참조 곡에서 그것이 나타나는 시각과 함께 저장됩니다.
4. 시간 오프셋으로 매칭
질의 시점에는 포착한 클립에서 같은 해시를 계산해 색인에서 찾습니다. 모든 적중은 ‘이 해시는 곡 X의 t 시점에 나타난다’는 정보를 줍니다. 정답 곡의 경우 참조 시각과 질의 시각의 차이가 하나의 값, 즉 클립이 곡 안에서 시작하는 오프셋에 모입니다. 틀린 곡에서는 그 차이가 흩어집니다. 강하게 모인 무리가 곧 매칭이며, 그 오프셋은 클립이 곡의 어느 부분에서 나왔는지도 알려줍니다. AHA Music이 영상 링크에서 찾아낸 모든 곡에 타임스탬프를 붙일 수 있는 이유입니다.
소음이 심한 카페에서도 통하는 이유
- 희소성. 피크만 남기며, 피크야말로 소음, 잔향, 압축을 견디는 요소입니다.
- 구체성. 시간 간격을 가진 피크 쌍은 충분히 희귀해서, 수십 개의 일치 해시만으로 1억 곡 중 한 곡을 특정할 수 있습니다.
- 짧은 질의. 매칭이 일관된 해시를 세는 방식이므로 약 5초짜리 클립에도 보통 충분한 해시가 들어 있습니다. 소음이 아주 심할 때는 더 긴 오디오가 도움이 되지만 거의 필요하지 않습니다.
- 속도. 해시 조회는 색인 조회이므로, 수천만 곡 규모의 카탈로그 검색이 오디오를 훑는 대신 밀리초 단위로 끝납니다.
지문 인식이 실패하는 곳
지문은 특정 녹음을 기술하므로, 같은 곡이지만 다른 녹음인 모든 것은 다른 성좌 지도를 만들고 매칭되지 않습니다.
- 허밍, 휘파람, 노래. 사람의 목소리에는 스튜디오 제작물의 피크가 없습니다. 지문 시스템은 아무것도 반환하지 않으며, Shazam이 지금까지 허밍 검색을 제공한 적이 없는 이유입니다.
- 커버곡, 라이브 연주, 노래방. 악기, 템포, 조가 다르면 피크도 다릅니다. 작곡은 같지만 녹음은 다르기 때문입니다.
- 리믹스와 크게 변형된 편집본. 피치를 옮기거나 시간을 늘인 버전은 피크를 이동시켜 대부분의 해시를 깨뜨립니다. 다만 일부 시스템은 작은 속도 변화에 대한 허용 오차를 둡니다.
- 색인에 없는 곡. 지문 인식은 누군가 지문을 등록한 녹음만 찾을 수 있습니다. 카탈로그 규모가 중요합니다. AHA Music의 엔진인 ACRCloud는 1억 곡 이상을 색인화합니다.
빈틈을 메우는 것들: 멜로디 매칭, 커버곡 식별, 임베딩
| 기법 | 비교 대상 | 처리 가능한 경우 | 사용하는 곳 |
|---|---|---|---|
| 오디오 지문 인식 | 한 녹음의 스펙트럼 피크 패턴 | 같은 녹음의 잡음 섞인 짧은 구간 | Shazam, AHA Music 녹음 모드, 방송 모니터링, YouTube Content ID 방식 매칭 |
| 허밍 질의(멜로디 매칭) | 부르거나 흥얼거린 멜로디의 음높이 윤곽을 저장된 멜로디와 비교 | 허밍, 휘파람, 노래, 음정이 어긋난 입력 | SoundHound, Google 허밍으로 검색, AHA Music 허밍 모드 |
| 커버곡 식별 | 조와 템포에 불변인 화성 특징(크로마)을 기준 작곡과 비교 | 커버곡, 라이브 버전, 노래방, 다른 편곡 | AHA Music 허밍/커버 모드 (ACRCloud 커버곡 엔진) |
| 신경망 오디오 임베딩 | 비슷하게 들리는 오디오를 가깝게 배치하는 학습된 벡터 | 모델이 학습한 대상(허밍 멜로디 포함), AI 음악 탐지에도 사용 | Google 허밍으로 검색, AI 음악 탐지기 |
실제로 현대의 곡 찾기 도구는 이 중 하나 이상을 함께 돌립니다. 예를 들어 AHA Music은 마이크, 파일, 링크 인식에 ACRCloud 지문 인식을 사용하고, 멜로디에는 허밍 엔진을, 커버곡 뒤의 작곡을 인식해 원곡을 알려주는 커버곡 엔진을 사용하며, 브라우저 확장 프로그램은 지문 인식에서 커버곡 식별로 자동 전환합니다. AI 음악 탐지기는 또 다른 문제입니다. 조회가 아니라 학습된 오디오 특징에 대한 분류기입니다.
오디오 지문 인식이 쓰이는 곳
- 소비자용 곡 식별: Shazam, SoundHound, Google, AHA Music과 각 브라우저 확장 프로그램.
- 권리와 저작권: 플랫폼이 업로드를 참조 카탈로그와 대조해 저작권이 있는 음악을 탐지합니다(가장 잘 알려진 예가 YouTube의 Content ID입니다).
- 방송·라디오 모니터링: 어느 방송국에서 언제 어떤 곡이 재생되었는지 기록하는 것으로, AHA Music의 라디오 차트 같은 에어플레이 차트의 데이터가 됩니다.
- 세컨드 스크린과 광고: TV 프로그램이나 광고의 오디오를 인식해 콘텐츠를 동기화합니다.
- 중복 제거와 카탈로그 정리: 메타데이터만 다른 동일한 녹음을 찾아냅니다.
Q&A
오디오 지문은 파일 해시와 같은 것인가요?
아니요. 파일 해시(MD5, SHA-256)는 비트 하나만 바뀌어도 달라지므로, 다시 인코딩한 MP3는 매칭되지 않습니다. 오디오 지문은 소리 자체에서 계산되며, 압축, 리샘플링, 마이크를 통한 재녹음을 거쳐도 같은 값으로 유지되도록 설계됩니다.
인식에는 몇 초의 오디오가 필요한가요?
지문 색인에 대한 깨끗한 매칭에는 보통 5초 정도면 충분합니다. 소음이 많은 방에서는 10~15초가 도움이 됩니다. 허밍 인식은 보통 10~15초의 멜로디를 필요로 합니다.
지문 인식으로 허밍에서 곡을 알아낼 수 있나요?
아니요. 허밍은 녹음의 스펙트럼 피크를 재현하지 않습니다. 대신 멜로디 매칭 도구를 사용하세요: SoundHound, Google 허밍으로 검색, 또는 AHA Music의 허밍 곡 찾기.
Shazam이 아는 곡의 라이브 버전에서 실패하는 이유는 무엇인가요?
라이브 연주는 피크가 다른 별개의 녹음이기 때문입니다. 지문 인식은 작곡이 아니라 녹음을 식별합니다. AHA Music의 허밍/커버 모드 같은 커버곡 엔진은 작곡을 매칭해 원곡을 알려줍니다.
인식 서비스가 제 녹음을 저장하나요?
서비스에 따라 다릅니다. AHA Music은 인식을 위해 녹음과 업로드를 처리하며 영구적으로 저장하지 않습니다. 자세한 내용은 개인정보 처리방침을 참고하세요.
제 앱에서 오디오 지문 인식을 사용할 수 있나요?
네, API를 통해 가능합니다. AHA Music은 자체 API를 제공하지 않지만, AHA Music이 사용하는 엔진은 ACRCloud에서 이용할 수 있습니다. AHA Music의 개발자 페이지에서 시작 방법을 설명합니다.