신기술 > 전자부품연구원
[전자부품연구원] 음악 정보 분석 기반 허밍 검색 솔루션 보유기술 이전

 

음악 정보 분석(MIA, Music Information Analysis) 기반 허밍 검색 솔루션

■ 기술의 개요

○ 기존 텍스트를 이용한 음악 검색 대신 허밍, 노래와 같은 이용자의 목소리를 직접적으로 이용하여 음악을 검색하는 차세대 음원 검색 기술

 

○ 허밍, 노래와 같은 이용자의 목소리 입력에서 멜로디, 장르 등의 특성정보를 추출하고, 이를 기반으로 MP3 파일과 같은 실제 이용되고 있는 음악 데이터에서 원하는 음악을 검색할 수 있는 검색 솔루션

 

ㅇ MIA기반 오디오 검색 솔루션은 오디오 특성 추출 기술, 검색 엔진 기술, 오디오 특성 기반 데이터베이스 기술로 구성됨

 

ㅇ MIA기반 오디오 검색 솔루션은 모바일 단말, PC 및 노래 반주기 등에 직접 적용되어 기기사업자의 제품 경쟁력 및 새로운 시장의 확보를 가능하게 할 뿐만 아니라, 서비스 사업자 및 콘텐츠 사업자 상호간 이익의 공유가 가능한 기술임

 

[전자부품연구원] 음악 정보 분석 기반 허밍 검색 솔루션 보유기술 이전

< MIA 기반 오디오 검색 솔루션 개념도 >

 

 

 

■ 기술의 현황

○ 최근 모바일 기기에서의 음악 검색 기술에 대한 관심이 급격히 증가하고 있으며, 음악 검색 기술은 음악과 음악을 비교하는 Music Fingerprint 기술과 허밍 기반 음악검색을 위한 QbSH 로 구분될 수 있음

 

○ Music fingerprint 기술은 국내의 네이버, 국외의 shazam(샤잠) 등에서 상용화되어 크게 인기를 끌고 있으나, 음원의 에너지 및 스펙트럼을 분석하여 이를 비교하는 기술적인 측면에서는 그 접근 방식이 상이함

 

○ 마이크로소프트와 Google같은 해외 글로벌 기업에서는 차세대 검색기술의 필요성을 인지하고, 단순 지원 기술의 개발 차원에서 차기 전략적 기술 및 사업으로 콘텐츠 검색 기술 분야를 격상하고, 관련 분야의 개발 및 사업화에 주목하고 있음

 

○ 또한, ISO/IEC 국제 표준 단체에서도 Multimedia Contents Description 및 콘텐츠 검색 질의 포맷 부분의 표준화를 현재 진행 중이거나 준비 중에 있음

 

○ 기술 구현수준

[전자부품연구원] 음악 정보 분석 기반 허밍 검색 솔루션 보유기술 이전

 

- 허밍 특성 추출 모듈, 다성 음원 특성 추출 모듈, 검색 엔진, 오디오 특성 정보 기반 데이터베이스 시스템 및 하드웨어 기반의 허밍 특성 추출 모듈 등이 이미 개발 완료 상태임

 

기술의 장점 (경쟁기술과의 차별성)

○ MIA 기반 오디오 검색 기술은 기존의 QbSH 시스템이 사용하던 단순한 MIDI기반의 음원을 이용하는 것이 아니라, MP3와 같이 보컬, 악기 등의 다양한 음원이 혼재되어 있는 다성음원을 기반으로 하는 음악 검색 솔루션임

 

○ 국외에서는 Midomi (사운드 하운드)가 대표적인 허밍기반 오디오 검색 서비스를 제공하고 있으나, 이 역시 사용자가 질의할 때 입력하는 허밍 정보를 데이터베이스에 저장하고, 이를 다른 사용자의 허밍 질의와 비교하는 단성음원 기반의 시스템임

 

- 다성 음원 기반의 허밍 검색 서비스는 아직 국내외에서 본격적으로 상용화 된 적이 없음

 

기존 허밍 기반 검색 서비스

vs.

MIA기반 오디오 검색

원리적인 측면

허밍/노래 기반의 입력

Pitch 정보 이용

[전자부품연구원] 음악 정보 분석 기반 허밍 검색 솔루션 보유기술 이전

 

 

 

 

측정원리

∙허밍/노래 기반 입력

∙사람의 목소리에서 추출된 다양한

오디오 특성 정보를 이용

[전자부품연구원] 음악 정보 분석 기반 허밍 검색 솔루션 보유기술 이전

기술적인 측면

∙허밍, 노래 등의 입력

입력 방식

허밍, 노래 입력

∙Pitch 정보를 활용

특성 추출

Low Level(에너지, 스펙트럼) 및 High Level(Pitch, 리듬, 세그먼트) 정보 통합적 이용

다양한 특성추출 정보 이용

∙사용자가 직접 입력한 허밍정보를 기반으로 DB 구축

DB 확보 방식

사업자 기반의 폴리포닉 음원 소스를 통합 DB 구축

∙모노폴릭 음원 (허밍 데이터)

비교대상

음원

폴리포닉 음원

∙사용자 입력 허밍 끼리 비교

검색 방식

∙사용자 입력정보의 특성 추출 정보를 DB상의 특성정보와 비교

∙사용자의 참여 없이 DB 구축 불가능

∙오래되거나 인지도가 없는 노래는 DB 구축 어려움 (Data Sparseness)

클라이막스나 메인 멜로디가 아니면 검색 불가

장단점

∙원곡의 음원특성에 기반한 특성추출 DB를 구축함으로 Data Sparseness 문제없음

∙전체곡에 대한 DB 구축이 가능하며, 이를 통한 검색 가능

∙인터넷 상의 포털 서비스

상용화

∙인터넷 음악검색 솔루션

검색 칩셋/모듈 형태로 노래방 기기, 셋톱박스에 장착 가능

모바일 기기 등에 적용 가능

 

활용범위 및 응용분야

○ (고정형 디바이스) Smart TV, Digital Settop Box, IPTV, 가라오케 및 노래방기기 등

○ (이동형 디바이스) 스마트폰, PDA, PMP, 차량용 네비게이션 등

○ (인터넷 오디오 검색 서버) 서비스 사업자 기반의 검색 서버 및 솔루션

[전자부품연구원] 음악 정보 분석 기반 허밍 검색 솔루션 보유기술 이전

< MIA 기반 오디오 검색 솔루션 적용 분야 >

시장동향 및 전망

○ 디지털 음원 시장이 이미 아날로그 음원시장의 규모를 넘어선지 오래되었고, 대용량 저장장치와 고성능의 CPU를 갖춘 스마트 단말의 확산으로 인해 모바일 단말에서의 디지털 음원의 소비가 급격히 증가하고 있음

 

○ 특히 MP3와 같이 저장되어 있는 음원을 단순히 재생하는 것이 아니라, 사용자가 직접 음원을 검색, 소비하는 형태로 음원 소비의 양상이 진화하고 있음

 

○ 모바일 단말의 경우, 입력 수단에 제한이 있기 때문에, 허밍 기반 검색과 같은 검색 기술에 대한 요구는 급격히 증가될 것으로 예상됨

 

○ 이미 이와 관련하여 온라인 광고 검색 시장의 규모는 2010년까지 연평균 20%이상의 성장률을 보여 왔으며, 그 규모는 2010년 1조원을 돌파한 것으로 추정되며, 2011년에도 국내 온라인 콘텐츠 검색 및 광고 시장은 15% 수준 이상의 완만한 성장세를 지속할 것으로 예상됨

 

■ 지식재산권 현황 및 기술이전 내용

○ 지식재산권 현황

구분

발명의 명칭

출원번호

(출원일)

등록번호

(등록일)

특허

콘텐츠 인식 시스템 및 가중 투표를 통한 이잔 특징점 추출 방법

10-2011-0142529

(2011.12.26)

-

특허

코드북 기반 음성 향상을 위한 고속 연산 방법

10-2011-0145572

(2011.12.29)

-

특허

허밍 질의 기반 음원 검색 고속화 시스템 및 그 방법

10-2011-0145573

(2011.12.29)

-

 

○ 기술이전 내용 및 방법

구 분

기술이전 내용

형식

제공방법

허밍 기반 특성 추출 모듈 SW, HW

- 소스 코드/API Manual

소스파일/ PDF

파일/문서

- 하드웨어 Gerber 파일/메뉴얼

Gerber 파일/ PDF

파일/문서

다성음원 기반 특성 추출 모듈 SW

- 소스 코드/API Manual

소스파일/ PDF

파일/문서

허밍 기반 검색 솔루션

- 전체 시스템 솔루션 코드/ 시스템 메뉴얼

소스 파일/ PDF

파일/문서

 

단어설명

- QbSH(Query by Signing/Humming) : 사용자가 음악 일부를 흥얼거리는 것만으로도 원하는 곡을 찾는 `흥얼거림 검색`

 

 

파일 다운로드 : 음악 정보 분석 기반 허밍 검색 솔루션.hwp
이전글
[전자부품연구원] H.264_AVC_SVC_비디오_코덱 보유기술 이전 2014/04/27
[전자부품연구원] 유럽형디지털라디오(DRM) 수신기술 보유기술이전 2014/04/26
다음글
[전자부품연구원] 사용자 Interactive 스마트 실감 객체 오디오 보유기술 이전 2014/04/29
[전자부품연구원] 다중카메라기반 고속 영상인식 SoC 플랫폼 보유기술 이전 2014/05/01