80462: Εφαρμογή πολυτροπικής διεπαφής για άτομα με απώλεια φωνής για την αναπαραγωγή φυσικής ομιλίας
INNOVATION
Επιστημονικός Υπεύθυνος: Έξαρχος Θεμιστοκλής
Εφαρμογή πολυτροπικής διεπαφής για άτομα με απώλεια φωνής για την αναπαραγωγή φυσικής ομιλίας
Πλαίσιο Χρηματοδότησης: ΕΛΙΔΕΚ ΕΣΠΑ 2014-2020
Κωδικός Πρόσκλησης: 1η Προκήρυξη Ερευνητικών Έργων ΕΛΙΔΕΚ για την ενίσχυση των μελών ΔΕΠ και Ερευνητών/τριών και την προμήθεια ερευνητικού εξοπλισμού μεγάλης αξίας
Τμήμα Επιστημονικού Υπεύθυνου: Τμήμα Πληροφορικής
Προϋπολογισμός: 190.000,00 €
Ακρωνύμιο: Let's Talk!

Ο λάρυγγρας είναι ένα πολύ σημαντικό όργανο καθώς εξασφαλίζει την αναπνοή και τη φώνηση. Η παραγωγή της φωνής γίνεται από τον συντονισμό των φωνητικών χορδών κατά την εκπνοή. Κάθε άτομο έχει ξεχωριστό φωνητικό αποτύπωμα. Η απώλεια της φωνής, που μπορεί να οφείλεται σε βλάβες διαφόρων οργάνων του ανθρώπινου φωνητικού συστήματος και κατά συνέπεια η σημαντική δυσχέρεια στην επικοινωνία, αποτελεί σημαντική αναπηρία. Επηρεάζει την ικανότητα του ατόμου να επικοινωνεί, να εκφράζει τα συναισθήματά του, επηρεάζει τη δουλειά του, την καθημερινότητά του και τη σχέση με τους οικείους του.

Το έργο Let's talk στοχεύειστη δημιουργία μιας καινοτόμου προσωποποιημένης πολυτροπικής διεπαφής, που θα παρέχεται στους χρήσυες μέσω μιας εφαρμογής, βασισμένης σε υποδομή υπολογιστικού νέφους (για έξθπνα τηλέφωνα ή/και ταμπλέτες), με σκοπό να τους επιτρέπει την επικοινωνία με τη φυσική χροιά της φωνής τους. Οι πολυτροπικές διεπαφές θα δέχονται σαν είσοδο βίντεο από τα χείλη του χρήστη καθώς και τυχόν που παράγονται κατά την διάρκεια προσπάθειας του ατόμου για ομιλία. Μέσω της σύντηξης της πληροφορίας από τα χείλη (βίντεο) και τους ήχους πουα αναπαράγονται, η εφαρμογή, μετά από την κατάλληλη προσαρμογή στο προφίλ του χρήστη και μέσω της χρήσης λεξιλογίων (έτσι ώστε οι λέξεις πουα παράγονται να έχουν νόημα και οι προτάσεις λογική συνέχεια), θα παράγει σε κείμενο την ομολία του χρήστη. Στη συνέχεια, με τη χρήση υπαρχόντων εργαλείων, Praat, Mary, Google TTS) και δεδομένης της καταγραφής της ομιλίας (της φυσικής γλώσσας/χροιάς) του χρήστη πριν την απώλεια φωνής (είτε με προγραμματισμένη καταγραφή πτιν το χειρουργείο, είτε με χρήση παλαιότερης καταγεγραμμένης ομιλίας-βίντεο, θα παράγευαι το φωνητικό αποτέλεσμα.

Το έργο εκτελείται με την σύμπραξη του Ιονίου Πανεπιστημίου και του Εθνικού Καποδιστριακού Πανεπιστημίου Αθηνών


Επιστροφή
Ανάγνωση ΚειμένουΑνάγνωση Κειμένου Αναγνωσιμότητα ΚειμένουΑναγνωσιμότητα Κειμένου Αντίθεση ΧρωμάτωνΑντίθεση Χρωμάτων
Επιλογές Προσβασιμότητας