Contact




English version

SEMIR

Modellering av perceptuellt baserade parametrar i musikaudiofiler

Dagens musiklyssnade har på kort tid förändrats radikalt. Numera laddas musik ofta ned från Internet och lagras digitalt som audiofiler i olika format. Denna omsvängning har fött nya behov av verktyg för att hantera musiken. Stora musikdatabaser är svåra att orientera sig i utan adekvata sökmöjligheter. Framför allt finns det ett behov av att förstå det musikaliska innehållet i audiofiler, så att de kan bli sökbara på samma sätt som man använder sig av Google för att söka i text. Dessa aspekter behandlas i det nya forskningsområdet Music Information Retrieval (MIR) som är mycket aktivt i EU och övriga världen och som har en egen årlig internationell konferens. I ett tidigare projekt utvecklade vi metoder för musikalisk analys baserad på symboliska indata, dvs noter eller MIDI. Vi har t ex tagit fram modeller för melodisk analys som likhet, segmentering, kvantisering (från utförande till notering), melodicitet (vilken stämma är huvudmelodin), tonalitet, och metrik. I detta projekt vill vi gå vidare och utveckla verktyg för audiofiler. Det innebär ytterligare utmaningar i form av segmentering och extraktion av musikaliska parametrar. Vi kommer därför att göra en helt ny teoretisk ansats där vi använder oss av mer allmänna musikaliska beskrivningar inspirerade av tidigare forskning inom musikpsykologi, istället för att utgå från den traditionella analysen av musik i form av noter, rytm och harmonisk analys. I den kompletta analysmodellen är musiken representerad på fyra nivåer: (1) audio, (2) enklare parametrar (spektrala komponenter, ljudnivåkurvor?), (3) perceptuellt relevanta musikaliska parametrar (metrisk tydlighet, harmonisk komplexitet, instrument, perceptuellt tempo), (4) övergripande semantisk beskrivning (tex emotionellt uttryck, rörelseuttryck, allmän karaktär, typ av ensemble, musikalisk genre). De perceptuella parametrarna i nivå tre tilldrar sig projektets huvudintresse. Ett stort antal studier inom musikpsykologi har pekat ut dessa parametrar som särskilt viktiga för att bestämma övergripande musikalisk karaktär som t ex känslouttrycket. Trots detta har de veterligen aldrig tidigare testats i datormodeller. Vi kommer att modellera de perceptuella parametrarna i nivå två och tre genom att, med hjälp av metoder inom informationsteknik (bayesiansk dataanalys, Support Vector Machines?), predicera experters perceptuella bedömning av utvalda musikexempel i olika databaser. Som ett sista steg utvecklas ett par enklare demonstrationsprogram med vilka man kan utforska en musikdatabas med stöd av de framforskade parametrarna. Det kan vara i form av t ex en interaktiv radio, där användaren väljer musik utifrån ett visst känslouttryck, eller efter en viss rytmisk karaktär. Resultaten kommer förutom sedvanlig vetenskaplig publicering också presenteras på Internet och de utvecklade algoritmerna kommer att fritt kunna laddas ned och användas i framtida projekt. Vi tror att resultaten kommer att bidra till att överbrygga gapet mellan tidigare studier inom musikpsykologi och nyare forskning inom MIR och potentiellt leda till ett nytt sätt att modellera och förstå hur människor i gemen upplever musik.

Grupp: Sound and Music Computing

Personal:
Anders Friberg (Projektledare)
Erwin Schoonderwaldt

Finansiering: VR (621-2009-4285)

Period: 2010 - 2013

Nyckelord: music analysis, feature extraction, perception, music information retrieval

Relaterade publikationer:

2017

Friberg, A., Schön, R., Elowsson, A., Choi, K., & Downie, J. S. (2017). Cross-cultural aspects of perceptual features in K-Pop: A pilot study comparing Chinese and Swedish listeners. In International Computer Music Conference (ICMC), Shanghai, China. [abstract] [pdf]

2014

Friberg, A., Schoonderwaldt, E., Hedblad, A., Fabiani, M., & Elowsson, A. (2014). Using listener-based perceptual features as intermediate representations in music information retrieval. Journal of the Acoustical Society of America, 136(4), 1951-1963. [abstract] [pdf]

Friberg, A., Schoonderwaldt, E., Hedblad, A., Fabiani, M., & Elowsson, A. (2014). Using perceptually defined music features in music information retrieval. arXiv:1403.7923 [cs.IR]. [abstract] [link]

2012

Friberg, A. (2012). Music Listening from an Ecological Perspective. In Poster presented at the 12th International Conference on Music Perception and Cognition and the 8th Triennial Conference of the European Society for the Cognitive Sciences of Music. [pdf]

2011

Bresin, R., & Friberg, A. (2011). Emotion rendering in music: Range and characteristic values of seven musical variables. Cortex, 47(9), 1068-1081. [abstract] [link]

Fabiani, M., & Friberg, A. (2011). Influence of pitch, loudness, and timbre on the perception of instrument dynamics. Journal of the Acoustical Society of America - Express Letters, EL193-EL199. [abstract] [pdf]

Friberg, A., & Hedblad, A. (2011). A Comparison of Perceptual Ratings and Computed Audio Features. In 8th Sound and Music Computing Conference, Padova, Italy. [pdf]

Friberg, A., Schoonderwaldt, E., & Hedblad, A. (2011). Perceptual ratings of musical parameters. In von Loesch, H., & Weinzierl, S. (Eds.), Gemessene Interpretation - Computergestützte Aufführungsanalyse im Kreuzverhör der Disziplinen (pp. 237-253). Mainz: Schott 2011, (Klang und Begriff 4). [pdf]

Hedblad, A. (2011). Evaluation of Musical Feature Extraction Tools using Perceptual Ratings. Master's thesis. [pdf]

2009

Bresin, R., & Friberg, A. (2009). How fast is the tempo in a happy music performance?. In Front. Hum. Neurosci. Conference Abstract: Tuning the Brain for Music. Helsinki, Finland. [abstract]

Friberg, A., Bresin, R., Hansen, K. F., & Fabiani, M. (2009). Enabling emotional expression and interaction with new expressive interfaces. In Front. Hum. Neurosci. Conference Abstract: Tuning the Brain for Music. Helsinki, Finland. [abstract] [link]

2008

Friberg, A. (2008). Digital audio emotions — An overview of computer analysis and synthesis of emotions in music. In Proc. of the 11th Int. Conference on Digital Audio Effects (DAFx-08), Espoo, Finland (pp. 1-6). [pdf]







Published by: TMH, Speech, Music and Hearing
Webmaster, webmaster@speech.kth.se

Last updated: 2012-11-09