Διερεύνηση καταλληλότητας χαρακτηριστικών υφής για αναγνώριση συναισθημάτων με σκοπό την κατασκευή ολοκληρωμένου συστήματος για την εξακρίβωση του ύποπτου από βίντεο προσώπων

Abstract

Η αναγνώριση των εκφράσεων του ανθρώπινου προσώπου είναι μία έμφυτη ικανότητα των ανθρώπων η οποία αναπτύσσεται από πολύ νωρίς. Μία τέτοια ικανότητα είναι χρήσιμη και απαραίτητη να κατέχετε από τα υπολογιστικά συστήματα. Μέσω των εκφράσεων του προσώπου μπορούν να εξαχθούν πολύτιμα συμπεράσματα για τη συναισθηματική κατάσταση του προσώπου προς παρακολούθηση τα οποία αν αξιοποιηθούν σωστά μπορούν να βελτιώσουν σημαντικά τον τρόπο και την ποιότητα της αλληλεπίδρασης του υπολογιστή με τον χρήστη. Στην αναγνώριση των εκφράσεων και κατ’ επέκταση των συναισθημάτων βασίζεται πληθώρα εφαρμογών όπως τα παιγνίδια βίντεο, η προσωποποιημένη επιλογή μουσικής και τηλεοπτικών προγραμμάτων, τα συστήματα ασφαλείας των αυτοκινήτων κ.α.. Σε πολυσύχναστους χώρους η γενική παρακολούθηση της συμπεριφοράς και αναγνώριση των εκφράσεων των παραβρισκόμενων είναι μια σημαντική και πολυέξοδη λειτουργία. Αυτό περιλαμβάνει την χρήση ενός κλειστού συστήματος παρακολούθησης με την χρήση ανθρώπινου δυναμικού ως παρατηρητές και επιτηρητές. Το πρόβλημα που μελετήθηκε στα πλαίσια αυτής της διπλωματικής εργασίας είναι ο έλεγχος της καταλληλόλητας χαρακτηριστικών υφής (ΧΥ) τα οποία εξάγονται από διαφορετικά μέρη του προσώπου και την χρήση τους στην αναγνώριση των εκφράσεων. Έχει γι’ αυτό τον σκοπό προκύψει ένα ολοκληρωμένο λογισμικό σύστημα που να μπορεί αναγνωρίζει την έκφραση του προσώπου και κατ’ επέκταση τις προθέσεις ακόμη και τον εγκληματικό χαρακτήρα κάποιου ανθρώπου μέσο μιας βιντεοκάμερας ή ενός κλειστού κυκλώματος παρακολούθησης. Ο επιπλέον στόχος αυτής της διπλωματικής είναι η διερεύνηση της καταλληλόλητας των ΧΥ μέσω διαφόρων στατιστικών τεχνικών με την χρήση του λογισμικού Matlab® για τον διαχωρισμό. την αναγνώριση συναισθημάτων αλλά και την εξακρίβωση υπόπτων προσώπων. Το ολοκληρωμένο λογισμικό σύστημα που προκύπτει μας υποβοηθά να εξακριβώνουμε την πρόθεση κάποιου ανθρώπου. Μέσα στα πλαίσια της διπλωματικής αυτής της εργασίας έγινε έρευνα για εύρεση της καταλληλότερης βάσης δεδομένων έτσι ώστε να βρεθούν βίντεο από τις 7 βασικότερες εκφράσεις του προσώπου από διαφορετικά άτομα. Η βάση δεδομένων που χρησιμοποιήθηκε ήταν η βάση δεδομένων του Cohn Canade (C++) και περιέχει 500 διαφορετικά βίντεο εκφράσεων από τις 7 βασικότερες εκφράσεις (Φόβος, Έκπληξη, Θύμος, Χαρά, Λύπη, Ουδέτερη έκφραση και, Αΐδια). Το κάθε βίντεο περιλάμβανε διαφορετικό αριθμό πλαισίων και όλα τα βίντεο παρείχαν τα ΑΑΜ Landmarks (Active Αppearance Μodels) που vii είναι χαρακτηριστικά σημεία στο πρόσωπο. Στην συνέχεια έγινε μετατροπή των βίντεο της βάσης δεδομένων από έγχρωμη μορφή σε διαβαθμίσεις του γκρι έτσι ώστε να μπορεί να γίνει επεξεργασία για εξαγωγή των ΧΥ. Επίσης για την αύξηση της ακρίβειας των μετρήσεων εφαρμόστηκε κανονικοποίηση ιστογράμματος έτσι ώστε να επιτευχθεί η συνοχή του δυναμικού εύρους των εικονοστοιχείων. Στην συνέχεια έγινε κατάτμηση του προσώπου από τα βίντεο και διαχωρισμός του σε 4 μέρη: α) το ολικό μέρος που περιλαμβάνει όλο το εσωτερικό μέρος του προσώπου β) το πάνω μέρος που είναι η κατάτμηση του προσώπου από τα μάτια και πάνω. γ) το μέσο μέσος που είναι η κατάτμηση του προσώπου από τα πάνω χείλη μέχρι το κάτω μέρος των ματιών και δ) το κάτω μέρος που είναι η κατάτμηση του προσώπου από το κάτω μέρος του πιγουνιού μέχρι το πάνω μέρος των χιλίων. Ακολούθως εξάχθηκαν 66 διαφορετικά ΧΥ από τα πιο πάνω μέρη του προσώπου και υπολογίστηκε ο μέσος όρος και η τυπική απόκλιση του κάθε ΧΥ για κάθε μια από τις 7 διαφορετικές εκφράσεις. Ακολούθως υπολογίστηκε ο διανυσματικός μέσος όρος δηλαδή ο μέσος όρος της τιμής κάθε ΧΥ για κάθε πλαίσιο του βίντεο. Τα διανύσματα αυτά χρησιμοποιήθηκαν για να ελεγχθούν οι κατανομές του κάθε ΧΥ για κάθε έκφραση ως προς την στατιστική διαφορά που υπάρχει ανάμεσα σε κάθε συνδυασμό εκφράσεων, την συσχέτιση που υπάρχει μεταξύ του κάθε συνδυασμού εκφράσεων και την γενική κατανομή του κάθε ΧΥ για κάθε έκφραση και κάθε μέρος του προσώπου. Κάποια σημαντικά αποτελέσματα που εξάχθηκαν από την ανάλυση είναι ότι χρησιμοποιώντας το ΧΥ αθροίσματος διακύμανσης (Sum variance) από την ομάδα χαρακτηριστικών Spatial Gray Level Dependence Matrices (SGLDMr) - Range of values για το ολικό μέρος του προσώπου μπορούν να διαχωριστούν οι εκφράσεις του φόβου (0.69±0.36) και της λύπης (0.42±0.22) (p=0.001. ρ=0.0008). Από τα αποτελέσματα που εξάχθηκαν παρατηρήθηκε ότι τα ΧΥ συμπεριφέρονται διαφορετικά από έκφραση σε έκφραση στα βίντεο για την ίδια έκφραση έτσι ώστε να μπορούν να τις διαχωρίσουν. Αυτό οφείλετε στον διαφορετικό βαθμό αντιπροσώπευσης της έκφρασης από το πρόσωπο. Σε μια μελλοντική εργασία μπορεί να γίνει περεταίρω στατιστική ανάλυση και με την εύρεση της καταλληλότερης βάσης δεδομένων με εκφράσεις που μπορούν να θεωρηθούν ύποπτες και σε συνδυασμό με τα αποτελέσματα της παρούσας διπλωματικής εργασίας μπορούν να αξιοποιηθούν με σκοπό την δημιουργία ενός αυτόνομου συστήματος αναγνώρισης της έκφρασης και κατ’ επέκταση της αναγνώρισης υπόπτων σε κοινόχρηστους χώρους.