Κατασκευή ολοκληρωμένου συστήματος για την εξακρίβωση του πόνου απο βίντεο προσώπων βασισμένο σε ανάλυση χαρακτηριστικών υφής
Date Issued
2016
Author(s)
Advisor
Abstract
Ο πόνος είναι η ποιο κοινή αιτία με την οποία μπορεί να υποφέρουν οι ασθενείς πριν αλλά και μετά μιας εγχειρητικής επεμβατικής μεθόδου. Σε μερικούς ασθενείς όπου δεν είναι εύκολη η επικοινωνία του ασθενή με το παραϊατρικό προσωπικό, είτε λόγο σωματικής αναπηρίας είτε λόγο μικρής ηλικίας, η συνεχής καταγραφή της έντασης πόνου βασίζεται στη χρήση ειδικών επεμβατικών εξοπλισμών και απαιτεί τη συνεργασία των ασθενών. Συνεπάγει επίσης μεγάλο κόστος λόγω του εξοπλισμού που χρησιμοποιείται και λόγω της χρήσης του ανθρώπινου δυναμικού. Τα ποιο πάνω προβλήματα μπορούν να περιοριστούν, αν η ανίχνευση του πόνου του ασθενή γίνεται με ένα αυτοματοποιημένο σύστημα που να μπορεί να υπολογίζει την ένταση του πόνου με ακρίβεια και με χαμηλό λειτουργικό κόστος.
Στην παρούσα διπλωματική εργασία προτείνουμε μια λύση του ποιο πάνω προβλήματος με την χρήση τεχνικών ανάλυσης βίντεο, με την υλοποιήσει ενός ολοκληρωμένου λογισμικού συστήματος παρακολούθησης με χαμηλό κόστος και με μη επεμβατικό έλεγχο του ασθενή. Αυτό επιτυγχάνετε με βάση την παρακολούθηση και την ανίχνευση του πόνου σε διάφορες ακολουθίες εικόνων (βίντεο) του προσώπου του ασθενή που έχουν ληφθεί με συνήθεις κάμερες. Το προτεινόμενο σύστημα μπορεί να χρησιμοποιηθεί για τον έλεγχο της δραστηριότητας του προσώπου και να λειτουργήσει ως ένα επιπρόσθετο μέσο για την επικοινωνία του ασθενή με το ιατρικό προσωπικό σε περίπτωση όπου η κίνηση του σώματος είναι δεν είναι δυνατή. Η αυτόματη ανίχνευση πόνου μπορεί επιπλέον να χρησιμοποιηθεί για την ανίχνευση διαφόρων επιπέδων πόνου, τα οποία όταν ξεπεράσουν μια προκαθορισμένη τιμή να γίνεται αυτόματη κλήση του ιατρικού προσωπικού για βοήθεια του ασθενή.
Μέσα στα πλαίσια αυτής της διπλωματικής εργασίας, έγινε βιβλιογραφική έρευνα για την εξεύρεση της καταλληλότερης βάσης δεδομένων έτσι ώστε να βρεθούν βίντεο από 16 διαφορετικούς ασθενείς με ένταση και χωρίς ένταση πόνου. Όλα τα βίντεο παρείχαν τα σημεία στο πρόσωπο (ΑΑΜ Landmarks Active Appearance Models) και την αληθινή ένταση του πόνου καταγραμμένη με βάση το FACS(Facial Action Coding System), όπου το εύρος της έντασης πόνου κυμαίνεται από 1 μέχρι 12. Το αρχικό στάδιο της επεξεργασίας περιλαμβάνει μετατροπή των βίντεο από έγχρωμα σε διαβαθμίσεις του γκρι έτσι ώστε να μπορεί να γίνει ανάλυση της εικόνας. Ακολούθως εφαρμόστηκε στα βίντεο: 1) ισοστάθμιση ιστογράμματος, 2) κανονικοποίηση ιστογράμματος έτσι ώστε να επιτευχθεί η συνοχή του δυναμικού εύρους
v
των εικονοστοιχείων, 3) φιλτράρισμα με το φίλτρο median (Hybrid median) για την αφαίρεση του πολλαπλασιαζόμενου θορύβου και 4) κανονικοποίηση και φιλτράρισμα.
Στην συνέχεια έγινε κατάτμηση του προσώπου από τα βίντεο και διαχωρισμός τους σε 4 μέρη: 1) το ολικό που περιλαμβάνει όλη την περιοχή του προσώπου 2) το πάνω μέρος που είναι η κατάτμηση του προσώπου από τα μάτια και πάνω, 3) το μέσο μέρος που είναι η κατάτμηση του προσώπου από τα πάνω χείλη μέχρι το κάτω μέρος των ματιών και 4) το κάτω μέρος που είναι η κατάτμηση του προσώπου από το κάτω μέρος του πιγουνιού μέχρι το πάνω μέρος των χειλιών. Ακολούθως εξάχθηκαν 66 διαφορετικά χαρακτηριστικά υφής (ΧΥ) από τα ποιο πάνω μέρη του βίντεο, τα οποία χρησιμοποιούνται για την εξακρίβωση του πόνου, και ακολούθως υπολογίστηκε ο μέσος όρος, η τυπική απόκλιση και ο διανυσματικός μέσος όρος για το κάθε ΧΥ. Έγινε στην συνέχεια γραφική παράσταση των κατανομών του κάθε ΧΥ και εξετάστηκε η στατιστική διαφορά που υπάρχει ανάμεσα στους ασθενείς με ένταση πόνου και χωρίς ένταση πόνου.
Τα αποτελέσματα έδειξαν ότι η ένταση πόνου μπορεί να υπολογιστεί με την βοήθεια κάποιων ΧΥ, τα οποία συμπεριφέρονται διαφορετικά σε κάθε βαθμίδα πόνου. Πιο συγκεκριμένα, για το πρώτο πείραμα (Leave One Person Out) παρατηρήθηκε ότι η καλύτερη μέθοδος επιτυγχάνετε με την εφαρμογή του μέσου φίλτρου σε συνδυασμό με το πάνω μέρος του προσώπου όπου το σφάλμα για την ένταση πόνου είναι 1.44/12 (12%). Στο δεύτερο πείραμα (Person Specific Training) παρατηρήθηκε ότι η καλύτερη μέθοδος δίδεται από το αρχικό βίντεο σε συνδυασμό με το πάνω μέρος του προσώπου, όπου το σφάλμα για την ένταση πόνου είναι 3.21 (26.75%). Τα ΧΥ που μας βοηθούν καλύτερα στον διαχωρισμό του πόνου για το πρώτο πείραμα είναι το μέσο (Mean-First Order Statistics), ενώ για το δεύτερο πείραμα είναι η τυπική απόκλιση (Standard Deviation-First Order Statistics). Ως επακόλουθο αυτής της διπλωματικής εργασίας ήταν να δημιουργηθεί ένα αυτοματοποιημένο σύστημα όπου να μπορεί μελλοντικά να εφαρμοστεί στην κλινική πρακτική για την παρακολούθηση ατόμων με προβλήματα ομιλίας ή ακόμη και κίνησης του σώματος.
Είναι αναγκαία η περαιτέρω εξέλιξη και ανάλυση του συστήματος και η περαιτέρω ανάλυση των ΧΥ, ως επίσης και η εφαρμογή του σε μεγαλύτερο αριθμό βίντεο για την καλύτερη αξιολόγηση και ενίσχυσή του συστήματος με επιπρόσθετες λειτουργίες και παραμέτρους, που να προσδιορίζουν καλύτερα και με μεγαλύτερη ακρίβεια την ένταση του πόνου.
Στην παρούσα διπλωματική εργασία προτείνουμε μια λύση του ποιο πάνω προβλήματος με την χρήση τεχνικών ανάλυσης βίντεο, με την υλοποιήσει ενός ολοκληρωμένου λογισμικού συστήματος παρακολούθησης με χαμηλό κόστος και με μη επεμβατικό έλεγχο του ασθενή. Αυτό επιτυγχάνετε με βάση την παρακολούθηση και την ανίχνευση του πόνου σε διάφορες ακολουθίες εικόνων (βίντεο) του προσώπου του ασθενή που έχουν ληφθεί με συνήθεις κάμερες. Το προτεινόμενο σύστημα μπορεί να χρησιμοποιηθεί για τον έλεγχο της δραστηριότητας του προσώπου και να λειτουργήσει ως ένα επιπρόσθετο μέσο για την επικοινωνία του ασθενή με το ιατρικό προσωπικό σε περίπτωση όπου η κίνηση του σώματος είναι δεν είναι δυνατή. Η αυτόματη ανίχνευση πόνου μπορεί επιπλέον να χρησιμοποιηθεί για την ανίχνευση διαφόρων επιπέδων πόνου, τα οποία όταν ξεπεράσουν μια προκαθορισμένη τιμή να γίνεται αυτόματη κλήση του ιατρικού προσωπικού για βοήθεια του ασθενή.
Μέσα στα πλαίσια αυτής της διπλωματικής εργασίας, έγινε βιβλιογραφική έρευνα για την εξεύρεση της καταλληλότερης βάσης δεδομένων έτσι ώστε να βρεθούν βίντεο από 16 διαφορετικούς ασθενείς με ένταση και χωρίς ένταση πόνου. Όλα τα βίντεο παρείχαν τα σημεία στο πρόσωπο (ΑΑΜ Landmarks Active Appearance Models) και την αληθινή ένταση του πόνου καταγραμμένη με βάση το FACS(Facial Action Coding System), όπου το εύρος της έντασης πόνου κυμαίνεται από 1 μέχρι 12. Το αρχικό στάδιο της επεξεργασίας περιλαμβάνει μετατροπή των βίντεο από έγχρωμα σε διαβαθμίσεις του γκρι έτσι ώστε να μπορεί να γίνει ανάλυση της εικόνας. Ακολούθως εφαρμόστηκε στα βίντεο: 1) ισοστάθμιση ιστογράμματος, 2) κανονικοποίηση ιστογράμματος έτσι ώστε να επιτευχθεί η συνοχή του δυναμικού εύρους
v
των εικονοστοιχείων, 3) φιλτράρισμα με το φίλτρο median (Hybrid median) για την αφαίρεση του πολλαπλασιαζόμενου θορύβου και 4) κανονικοποίηση και φιλτράρισμα.
Στην συνέχεια έγινε κατάτμηση του προσώπου από τα βίντεο και διαχωρισμός τους σε 4 μέρη: 1) το ολικό που περιλαμβάνει όλη την περιοχή του προσώπου 2) το πάνω μέρος που είναι η κατάτμηση του προσώπου από τα μάτια και πάνω, 3) το μέσο μέρος που είναι η κατάτμηση του προσώπου από τα πάνω χείλη μέχρι το κάτω μέρος των ματιών και 4) το κάτω μέρος που είναι η κατάτμηση του προσώπου από το κάτω μέρος του πιγουνιού μέχρι το πάνω μέρος των χειλιών. Ακολούθως εξάχθηκαν 66 διαφορετικά χαρακτηριστικά υφής (ΧΥ) από τα ποιο πάνω μέρη του βίντεο, τα οποία χρησιμοποιούνται για την εξακρίβωση του πόνου, και ακολούθως υπολογίστηκε ο μέσος όρος, η τυπική απόκλιση και ο διανυσματικός μέσος όρος για το κάθε ΧΥ. Έγινε στην συνέχεια γραφική παράσταση των κατανομών του κάθε ΧΥ και εξετάστηκε η στατιστική διαφορά που υπάρχει ανάμεσα στους ασθενείς με ένταση πόνου και χωρίς ένταση πόνου.
Τα αποτελέσματα έδειξαν ότι η ένταση πόνου μπορεί να υπολογιστεί με την βοήθεια κάποιων ΧΥ, τα οποία συμπεριφέρονται διαφορετικά σε κάθε βαθμίδα πόνου. Πιο συγκεκριμένα, για το πρώτο πείραμα (Leave One Person Out) παρατηρήθηκε ότι η καλύτερη μέθοδος επιτυγχάνετε με την εφαρμογή του μέσου φίλτρου σε συνδυασμό με το πάνω μέρος του προσώπου όπου το σφάλμα για την ένταση πόνου είναι 1.44/12 (12%). Στο δεύτερο πείραμα (Person Specific Training) παρατηρήθηκε ότι η καλύτερη μέθοδος δίδεται από το αρχικό βίντεο σε συνδυασμό με το πάνω μέρος του προσώπου, όπου το σφάλμα για την ένταση πόνου είναι 3.21 (26.75%). Τα ΧΥ που μας βοηθούν καλύτερα στον διαχωρισμό του πόνου για το πρώτο πείραμα είναι το μέσο (Mean-First Order Statistics), ενώ για το δεύτερο πείραμα είναι η τυπική απόκλιση (Standard Deviation-First Order Statistics). Ως επακόλουθο αυτής της διπλωματικής εργασίας ήταν να δημιουργηθεί ένα αυτοματοποιημένο σύστημα όπου να μπορεί μελλοντικά να εφαρμοστεί στην κλινική πρακτική για την παρακολούθηση ατόμων με προβλήματα ομιλίας ή ακόμη και κίνησης του σώματος.
Είναι αναγκαία η περαιτέρω εξέλιξη και ανάλυση του συστήματος και η περαιτέρω ανάλυση των ΧΥ, ως επίσης και η εφαρμογή του σε μεγαλύτερο αριθμό βίντεο για την καλύτερη αξιολόγηση και ενίσχυσή του συστήματος με επιπρόσθετες λειτουργίες και παραμέτρους, που να προσδιορίζουν καλύτερα και με μεγαλύτερη ακρίβεια την ένταση του πόνου.
File(s)![Thumbnail Image]()
Name
Μιχαήλ_Γιώργος.pdf
Size
3.81 MB
Format
Adobe PDF
Checksum (MD5)
6a544940d0b73da7320b9d0847850c17