MULTIMODAL INTERACTION: AN INTEGRATED SPEECH AND GAZE APPROACH

You are viewing the theme
[Voti: 0    Media Voto: 0/5]

La tesi verterà sull’analisi e sulla prototipazione di sistemi interattivi multimodali che sfruttino l’interazione mediante sguardo (eye tracking, head tracking e gaze tracking) e quella mediante voce (text-to-speech e automatic speech recognition). In particolare si analizzeranno le informazioni contestuali che potranno essere scambiate tra i sottosistemi gaze e voice al fine di creare applicazioni che sfruttino l’integrazione delle due modalità. La tesi prevede tre fasi operative: 1. integrazione, in un’applicazione di comunicazione simbolica, della funzionalità di output vocale 2. progetto e sviluppo prototipale di un’architettura integrata voice+gaze completa di ASR+TTS 3. identificazione di un caso di studio rilevante e validazione della modalità di interazione multimodale proposta. La candidata farà uso di piattaforme ed applicazioni software esistenti presso il politecnico e di strumenti commerciali forniti da partner industriali. Le applicazioni realizzate saranno disponibili con licenza Open Source.