Contact




English version

PAMIR

Datormodellering av perceptuella musikparametrar

Musikbranschen har på kort tid ställt om till digital hantering av musik för alla led i produktionskedjan från musiker till lyssnare. Numera laddas musik ofta ned från Internet och lagras digitalt som audiofiler. Denna omsvängning har fött nya behov av verktyg för att hantera musiken. Stora musikdatabaser är svåra att orientera sig i utan adekvata sökmöjligheter. Framför allt finns det ett behov av att förstå det musikaliska innehållet i audiofiler, så att de kan bli sökbara på samma sätt som man använder sig av Google för att söka i text. Dessa aspekter behandlas i det nya forskningsområdet Music Information Retrieval (MIR) som är mycket aktivt inom EU och övriga världen. I ett tidigare projekt utvecklade vi en ny modell för datorbaserad analys av musikfiler genom att införa perceptuellt baserade ljudparametrar. Den resulterande analysen består av fyra nivåer: audio, audioparametrar (ljudnivå, onsets…), perceptuella parametrar (hastighet, energi, rytmisk komplexitet), semantisk beskrivning (känslouttryck, musikstil…). Det visade sig att metoden har potential att signifikant förbättra både analysmetodernas effektivitet och den teoretiska förståelsen för hur vi upplever musik. Vi kommer i nuvarande projekt ytterligare utveckla och expandera antalet perceptuella parametrar. Här kommer vi att använda oss att en helt ny utgångspunkt nämligen s.k. ekologisk musikperception. Helt kort grundar det sig på hypotesen att när man lyssnar på ett ljud (eller ett musikinstrument) försöker man avkoda källans egenskaper snarare än att man lyssnar på själva klangen. Detta är en vedertagen modell beträffande vardagsljud men aldrig tidigare applicerad på musik. I nästa steg som är projektets huvudfokus kommer vi att utveckla nya datorbaserade algoritmer för att predicera de perceptuella parametrarna. Där kommer vi att använda audiobaserad signalprocessning i kombination med maskininlärningsmetoder. I det sista steget görs en mappning från perceptuella parametrar till semantisk beskrivning. Enligt inledande test bör detta vara relativt enkelt givet att de perceptuella parametrarna är adekvat modellerade. Slutligen kommer en prototyp att utvecklas för att demonstrera systemet. Vi tror att resultaten kommer att bidra till att överbrygga gapet mellan tidigare studier inom musikperception och nyare forskning inom MIR (ibland kallad ”the semantic gap”) och potentiellt leda till ett nytt sätt att modellera och förstå hur människor upplever musik.

Grupp: Sound and Music Computing

Personal:
Anders Friberg (Projektledare)
Anders Elowsson

Finansiering: VR (621-2012-4685)

Period: 2013 - 2017

Nyckelord: Music information retrieval, perceptual features, computational models

Relaterade publikationer:

2017

Elowsson, A., & Friberg, A. (2017). Predicting the perception of performed dynamics in music audio with ensemble learning. Journal of the Acoustical Society of America, 141(3), 2224-2242. [abstract] [pdf]

Friberg, A., Schön, R., Elowsson, A., Choi, K., & Downie, J. S. (2017). Cross-cultural aspects of perceptual features in K-Pop: A pilot study comparing Chinese and Swedish listeners. In International Computer Music Conference (ICMC), Shanghai, China. [abstract] [pdf]

2015

Elowsson, A., & Friberg, A. (2015). Modeling the Perception of Tempo. Journal of the Acoustical Society of America, 137, 3163-3177. [abstract] [pdf]

Lindeberg, T., & Friberg, A. (2015). Idealized computational models for auditory receptive fields. PLOS ONE, 10(3), e0119032:1-e0119032:58. [abstract] [pdf]

Lindeberg, T., & Friberg, A. (2015). Scale-space theory for auditory signals. In SSVM 2015: Scale Space and Variational Methods in Computer Vision, Lège Cap Ferret, France, Volume: Springer LNCS 9087 (pp. 3-15). [abstract] [pdf]

2014

Elowsson, A., Schön, R., Höglund, M., Zea, E., & Friberg, A. (2014). Estimation of vocal duration in monaural mixtures. In Proceedings of the 40th International Computer Music Conference, ICMC 2014 and 11th Sound and Music Computing Conference, SMC 2014 (pp. 1172-1177). [abstract] [pdf]

Friberg, A., Schoonderwaldt, E., Hedblad, A., Fabiani, M., & Elowsson, A. (2014). Using listener-based perceptual features as intermediate representations in music information retrieval. Journal of the Acoustical Society of America, 136(4), 1951-1963. [abstract] [pdf]

Friberg, A., Schoonderwaldt, E., Hedblad, A., Fabiani, M., & Elowsson, A. (2014). Using perceptually defined music features in music information retrieval. arXiv:1403.7923 [cs.IR]. [abstract] [link]

Lindeberg, T., & Friberg, A. (2014). Idealized computational models for auditory receptive fields. arXiv:1404.2037 [cs.SD]. [abstract] [link]

2013

Bellec, G., Elowsson, A., Friberg, A., Wolff, D., & Weyde, T. (2013). A social network integrated game experiment to relate tapping to speed perception and explore rhythm reproduction. In Proceedings of the Sound and Music Computing Conference (SMC) 2013, Stockholm, Sweden (pp. 19-26). [abstract] [pdf]

Eerola, T., Friberg, A., & Bresin, R. (2013). Emotional expression in music: contribution, linearity, and additivity of primary musical cues. Frontiers in Psychology, 4(487), 1-12. [abstract] [pdf]

Elowsson, A., & Friberg, A. (2013). Modelling Perception of Speed in Music Audio. In Proceedings of the Sound and Music Computing Conference 2013, SMC 2013, Stockholm, Sweden (pp. 735-741). [abstract] [pdf]

Elowsson, A., Friberg, A., Madison, G., & Paulin, J. (2013). Modelling the Speed of Music Using Features from Harmonic/Percussive Separated Audio. In Proceedings of the International Symposium on Music Information Retrieval. [abstract] [pdf]

Kleber, B., Zeitouni, A., Friberg, A., & Zatorre, R. (2013). Experience-Dependent Modulation of Feedback Integration during Singing: Role of the Right Anterior Insula. Journal of Neuroscience, 33(14), 6070-6080. [abstract]

2012

Friberg, A. (2012). Music Listening from an Ecological Perspective. In Poster presented at the 12th International Conference on Music Perception and Cognition and the 8th Triennial Conference of the European Society for the Cognitive Sciences of Music. [pdf]

2011

Bresin, R., & Friberg, A. (2011). Emotion rendering in music: Range and characteristic values of seven musical variables. Cortex, 47(9), 1068-1081. [abstract] [link]

Friberg, A., & Hedblad, A. (2011). A Comparison of Perceptual Ratings and Computed Audio Features. In 8th Sound and Music Computing Conference, Padova, Italy. [pdf]

Friberg, A., Schoonderwaldt, E., & Hedblad, A. (2011). Perceptual ratings of musical parameters. In von Loesch, H., & Weinzierl, S. (Eds.), Gemessene Interpretation - Computergestützte Aufführungsanalyse im Kreuzverhör der Disziplinen (pp. 237-253). Mainz: Schott 2011, (Klang und Begriff 4). [pdf]

2009

Bresin, R., & Friberg, A. (2009). How fast is the tempo in a happy music performance?. In Front. Hum. Neurosci. Conference Abstract: Tuning the Brain for Music. Helsinki, Finland. [abstract]

Friberg, A., Bresin, R., Hansen, K. F., & Fabiani, M. (2009). Enabling emotional expression and interaction with new expressive interfaces. In Front. Hum. Neurosci. Conference Abstract: Tuning the Brain for Music. Helsinki, Finland. [abstract] [link]







Published by: TMH, Speech, Music and Hearing
Webmaster, webmaster@speech.kth.se

Last updated: 2012-11-09