Contact




English version

TIG

Tidskoordinering av intonation och gester i talad kommunikation

Målet med projektet är att undersöka koordinering mellan tal och gester i tid. Utgångspunkten är att mer specifikt undersöka förhållandet mellan talmelodin (intonation) och gester med hjälp av högkvalitativt ljud, video och rörelsedata.

Talets melodi, eller intonation, spelar en viktig roll i talad interaktion. Genom att ändra talets melodi, kan talarna markera viktiga ord och fraser och göra dem mer framträdande och mer meningsfulla. Talare använder också förändrade melodier och rytmer för att signalera när det är dags för de andra talarna att prata (turtagning) samt att ge andra återkoppling (t.ex. mm eller Jaha). Den exakta tidpunkten för stigande och fallande melodier i tal styrs med stor precision av talaren. Dessa rörelser uppträder på vissa bestämda ställen i förhållande till stavelser. Gester och mimik följer med talets melodi och har ofta samma funktion som intonation, men vi har hittills inte kunnat mäta gester och mimik med samma precision som melodin. Syftet med detta forskningsprojekt är att mäta med precision det tidsmässiga förhållandet mellan talets melodier och gestik med hjälp av en stor databas av inspelade samtal på svenska. Deltagarna har spelats in med högkvalitet på ljud och video och med motion capture-utrustning i en specialdesignad studio. Resultaten kommer att få implikationer för vår förståelse av hur tal och gester planeras och samordnas i hjärnan, och kommer också att möjliggöra bättre modellering av tal och gester i tillämpningar som robotar och avatarer.

Grupp:

Personal:
David House (Projektledare)
Jonas Beskow
Simon Alexanderson
Jens Edlund

Finansiering: RJ (Bank of Sweden Tercentenary Foundation)

Period: 2012-08 - 2017-01

Relaterade publikationer:

2016

Alexanderson, S., House, D., & Beskow, J. (2016). Automatic Annotation of Gestural Units in Spontaneous Face-to-Face Interaction. In Proceedings of the Workshop on Multimodal Analyses enabling Artificial Agents in Human-Machine Interaction (pp. 15-19). Tokyo, Japan. [pdf]

House, D., & Alexanderson, S. (2016). Temporal domains of co-speech gestures and speech prosody. In Seventh Conference of the International Society for Gesture Studies (pp. 365). Paris. [pdf]

Zellers, M., House, D., & Alexanderson, S. (2016). Prosody and hand gesture at turn boundaries in Swedish. In Proceedings of Speech Prosody 2016 (pp. 832-835). Boston, USA. [abstract] [pdf]

2015

House, D., Alexanderson, S., & Beskow, J. (2015). On the temporal domain of co-speech gestures: syllable, phrase or talk spurt?. In Lundmark Svensson, M., Ambrazaitis, G., & van de Weijer, J. (Eds.), Proceedings of Fonetik 2015 (pp. 63-68). Lund University, Sweden. [abstract] [pdf]

Zellers, M., & House, D. (2015). Parallels between hand gestures and acoustic prosodic features in turn-taking. In 14th International Pragmatics Conference (pp. 454-455). Antwerp, Belgium. [pdf]

2014

Alexanderson, S., Beskow, J., & House, D. (2014). Automatic speech/non-speech classification using gestures in dialogue. In The Fifth Swedish Language Technology Conference. Uppsala, Sweden. [pdf]

2013

Alexanderson, S., House, D., & Beskow, J. (2013). Aspects of co-occurring syllables and head nods in spontaneous dialogue. In Proc. of 12th International Conference on Auditory-Visual Speech Processing (AVSP2013). Annecy, France. [pdf]

Alexanderson, S., House, D., & Beskow, J. (2013). Extracting and analysing co-speech head gestures from motion-capture data. In Eklund, R. (Ed.), Proc. of Fonetik 2013 (pp. 1-4). Linköping University, Sweden. [pdf]

Alexanderson, S., House, D., & Beskow, J. (2013). Extracting and analyzing head movements accompanying spontaneous dialogue. In Proc. Tilburg Gesture Research Meeting. Tilburg University, The Netherlands. [pdf]







Published by: TMH, Speech, Music and Hearing
Webmaster, webmaster@speech.kth.se

Last updated: 2012-11-09