Please use this identifier to cite or link to this item: http://ktisis.cut.ac.cy/handle/10488/8885
Title: Διερεύνηση καταλληλότητας χαρακτηριστικών υφής για αναγνώριση συναισθημάτων με σκοπό την κατασκευή ολοκληρωμένου συστήματος για την εξακρίβωση του ύποπτου από βίντεο προσώπων
Authors: Σολωμού, Σάββας 
Keywords: Ανθρώπινο πρόσωπο
Λογισμικό σύστημα
Χαρακτηριστικά υφής
Matlab®
Issue Date: 2016
Publisher: Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής, Σχολή Μηχανικής και Τεχνολογίας, Τεχνολογικό Πανεπιστήμιο Κύπρου
Abstract: Η αναγνώριση των εκφράσεων του ανθρώπινου προσώπου είναι μία έμφυτη ικανότητα των ανθρώπων η οποία αναπτύσσεται από πολύ νωρίς. Μία τέτοια ικανότητα είναι χρήσιμη και απαραίτητη να κατέχετε από τα υπολογιστικά συστήματα. Μέσω των εκφράσεων του προσώπου μπορούν να εξαχθούν πολύτιμα συμπεράσματα για τη συναισθηματική κατάσταση του προσώπου προς παρακολούθηση τα οποία αν αξιοποιηθούν σωστά μπορούν να βελτιώσουν σημαντικά τον τρόπο και την ποιότητα της αλληλεπίδρασης του υπολογιστή με τον χρήστη. Στην αναγνώριση των εκφράσεων και κατ’ επέκταση των συναισθημάτων βασίζεται πληθώρα εφαρμογών όπως τα παιγνίδια βίντεο, η προσωποποιημένη επιλογή μουσικής και τηλεοπτικών προγραμμάτων, τα συστήματα ασφαλείας των αυτοκινήτων κ.α.. Σε πολυσύχναστους χώρους η γενική παρακολούθηση της συμπεριφοράς και αναγνώριση των εκφράσεων των παραβρισκόμενων είναι μια σημαντική και πολυέξοδη λειτουργία. Αυτό περιλαμβάνει την χρήση ενός κλειστού συστήματος παρακολούθησης με την χρήση ανθρώπινου δυναμικού ως παρατηρητές και επιτηρητές. Το πρόβλημα που μελετήθηκε στα πλαίσια αυτής της διπλωματικής εργασίας είναι ο έλεγχος της καταλληλόλητας χαρακτηριστικών υφής (ΧΥ) τα οποία εξάγονται από διαφορετικά μέρη του προσώπου και την χρήση τους στην αναγνώριση των εκφράσεων. Έχει γι’ αυτό τον σκοπό προκύψει ένα ολοκληρωμένο λογισμικό σύστημα που να μπορεί αναγνωρίζει την έκφραση του προσώπου και κατ’ επέκταση τις προθέσεις ακόμη και τον εγκληματικό χαρακτήρα κάποιου ανθρώπου μέσο μιας βιντεοκάμερας ή ενός κλειστού κυκλώματος παρακολούθησης. Ο επιπλέον στόχος αυτής της διπλωματικής είναι η διερεύνηση της καταλληλόλητας των ΧΥ μέσω διαφόρων στατιστικών τεχνικών με την χρήση του λογισμικού Matlab® για τον διαχωρισμό. την αναγνώριση συναισθημάτων αλλά και την εξακρίβωση υπόπτων προσώπων. Το ολοκληρωμένο λογισμικό σύστημα που προκύπτει μας υποβοηθά να εξακριβώνουμε την πρόθεση κάποιου ανθρώπου. Μέσα στα πλαίσια της διπλωματικής αυτής της εργασίας έγινε έρευνα για εύρεση της καταλληλότερης βάσης δεδομένων έτσι ώστε να βρεθούν βίντεο από τις 7 βασικότερες εκφράσεις του προσώπου από διαφορετικά άτομα. Η βάση δεδομένων που χρησιμοποιήθηκε ήταν η βάση δεδομένων του Cohn Canade (C++) και περιέχει 500 διαφορετικά βίντεο εκφράσεων από τις 7 βασικότερες εκφράσεις (Φόβος, Έκπληξη, Θύμος, Χαρά, Λύπη, Ουδέτερη έκφραση και, Αΐδια). Το κάθε βίντεο περιλάμβανε διαφορετικό αριθμό πλαισίων και όλα τα βίντεο παρείχαν τα ΑΑΜ Landmarks (Active Αppearance Μodels) που vii είναι χαρακτηριστικά σημεία στο πρόσωπο. Στην συνέχεια έγινε μετατροπή των βίντεο της βάσης δεδομένων από έγχρωμη μορφή σε διαβαθμίσεις του γκρι έτσι ώστε να μπορεί να γίνει επεξεργασία για εξαγωγή των ΧΥ. Επίσης για την αύξηση της ακρίβειας των μετρήσεων εφαρμόστηκε κανονικοποίηση ιστογράμματος έτσι ώστε να επιτευχθεί η συνοχή του δυναμικού εύρους των εικονοστοιχείων. Στην συνέχεια έγινε κατάτμηση του προσώπου από τα βίντεο και διαχωρισμός του σε 4 μέρη: α) το ολικό μέρος που περιλαμβάνει όλο το εσωτερικό μέρος του προσώπου β) το πάνω μέρος που είναι η κατάτμηση του προσώπου από τα μάτια και πάνω. γ) το μέσο μέσος που είναι η κατάτμηση του προσώπου από τα πάνω χείλη μέχρι το κάτω μέρος των ματιών και δ) το κάτω μέρος που είναι η κατάτμηση του προσώπου από το κάτω μέρος του πιγουνιού μέχρι το πάνω μέρος των χιλίων. Ακολούθως εξάχθηκαν 66 διαφορετικά ΧΥ από τα πιο πάνω μέρη του προσώπου και υπολογίστηκε ο μέσος όρος και η τυπική απόκλιση του κάθε ΧΥ για κάθε μια από τις 7 διαφορετικές εκφράσεις. Ακολούθως υπολογίστηκε ο διανυσματικός μέσος όρος δηλαδή ο μέσος όρος της τιμής κάθε ΧΥ για κάθε πλαίσιο του βίντεο. Τα διανύσματα αυτά χρησιμοποιήθηκαν για να ελεγχθούν οι κατανομές του κάθε ΧΥ για κάθε έκφραση ως προς την στατιστική διαφορά που υπάρχει ανάμεσα σε κάθε συνδυασμό εκφράσεων, την συσχέτιση που υπάρχει μεταξύ του κάθε συνδυασμού εκφράσεων και την γενική κατανομή του κάθε ΧΥ για κάθε έκφραση και κάθε μέρος του προσώπου. Κάποια σημαντικά αποτελέσματα που εξάχθηκαν από την ανάλυση είναι ότι χρησιμοποιώντας το ΧΥ αθροίσματος διακύμανσης (Sum variance) από την ομάδα χαρακτηριστικών Spatial Gray Level Dependence Matrices (SGLDMr) - Range of values για το ολικό μέρος του προσώπου μπορούν να διαχωριστούν οι εκφράσεις του φόβου (0.69±0.36) και της λύπης (0.42±0.22) (p=0.001. ρ=0.0008). Από τα αποτελέσματα που εξάχθηκαν παρατηρήθηκε ότι τα ΧΥ συμπεριφέρονται διαφορετικά από έκφραση σε έκφραση στα βίντεο για την ίδια έκφραση έτσι ώστε να μπορούν να τις διαχωρίσουν. Αυτό οφείλετε στον διαφορετικό βαθμό αντιπροσώπευσης της έκφρασης από το πρόσωπο. Σε μια μελλοντική εργασία μπορεί να γίνει περεταίρω στατιστική ανάλυση και με την εύρεση της καταλληλότερης βάσης δεδομένων με εκφράσεις που μπορούν να θεωρηθούν ύποπτες και σε συνδυασμό με τα αποτελέσματα της παρούσας διπλωματικής εργασίας μπορούν να αξιοποιηθούν με σκοπό την δημιουργία ενός αυτόνομου συστήματος αναγνώρισης της έκφρασης και κατ’ επέκταση της αναγνώρισης υπόπτων σε κοινόχρηστους χώρους.
Description: The recognition of human facial expressions is an innate ability of people which grows well in advance. Such a capability is useful and necessary to be carried out by computer systems. Through facial expressions it will be possible to monitor the emotional state of the person , which if used properly, it can significantly improve the way and the quality of the computer's interaction with the user. The recognition of expressions will allow the development of numerous applications such as video games, the personalized selection of music and television and car security systems. In crowded situations the general monitoring of the behavior and identification of the attendees expressions is an important and costly operation. This includes the use of a video surveillance system using human resources as observers and monitors. The problem was studied in the context of this thesis is the analysis of the suitability of texture features (TF) exported from different parts of the facein identifying expressions. For this purpose we implemented an integrated software system that can recognize facial expressions and therefore the intentions and even someone's criminal character based on foage captured by a camcorder or a video surveillance system. The additional aim of this thesis is to investigate the suitability of TF through different statistical techniques using the Matlab® software for separating facial expressions, identifying feelings and suspicious persons. The resulting integrated software system can be used for verifying someone's intention. Within the framework of this thesis a survey was conducted to find the most appropriate data base in order to find video from 7 basic facial expressions of different people. The database used was the database Cohn Canade (C ++) and contains 500 different expressions video from 7 basic expressions (fear, Surprise, Anger, Joy, Sorrow, Neutrality and disgust). Each video contained a different number of frames and all videos provided by AAM Landmarks (Active Appearance Models) that are characteristic points in the face. Frames from the video database were converted from color to grayscale form so that it can be processed to extract the TF. Also for increasing the accuracy of measurements we applied histogram normalization to achieve consistency of dynamic range of the pixel intensities. Subsequently a given face was split split into 4 parts: a) the whole part that contains the internal face b) the upper part which is the partition of a face above the person's eyes. c) the middle part that is the segmentation of the face of the upper lip to the bottom of the eyes and d) lower part that is the segmentation of the person from the bottom of the chin to the ix bottom of a the nose. Subsequently we exported 66 different TF of the above parts of the face and averaged and the standard deviation of each TF for each of the seven different expressions. Then we calculated the vector mean that the average value for each TF for each frame of video. The vectors were used to control the allocation of each TF for each expression in the statistical difference between each combination of expressions, the correlation that exists between each expression combination and the general distribution of each TF for each expression and each part facial. Some significant results were derived from the analysis is that using TF Sum variance from the group features Spatial Gray Level Dependence Matrices (SGLDMr) - Range of values for the whole of the face can separate the fear expressions (0.69 ± 0.36) and sadness (0.42 ± 0.22). The statistical difference between the two expressions is 1% (p <0.01) and the correlation (r) between the two expressions for that attribute is 0.0008. From the results derived TF were observed to behave differently in different expression and also in the same video for the same expression. This is due to the different degree of representation of the face expression. In a future work can be further statistical analysis and finding the most suitable database expressions that may be considered suspicious and combined with the results of this thesis can be used to create an autonomous expression recognition system and by hence the identification of suspects.
URI: http://ktisis.cut.ac.cy/jspui/handle/10488/8885
Rights: Απαγορεύεται η δημοσίευση ή αναπαραγωγή, ηλεκτρονική ή άλλη χωρίς τη γραπτή συγκατάθεση του δημιουργού και κατόχου των πνευματικών δικαιωμάτων
Appears in Collections:Πτυχιακές Εργασίες/ Bachelor's Degree Theses

Files in This Item:
File Description SizeFormat 
ΣΑΒΒΑΣ_ΣΟΛΩΜΟΥ.pdf2.34 MBAdobe PDFView/Open
Show full item record

Page view(s) 10

38
Last Week
2
Last month
5
checked on Aug 17, 2017

Download(s) 10

17
checked on Aug 17, 2017

Google ScholarTM

Check


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.