Please use this identifier to cite or link to this item:
https://hdl.handle.net/20.500.14279/29638| Title: | Μελέτη των χαρτών θερμότητας (heatmaps) που δημιουργούνται κατά τον εντοπισμό εμποδίων που θέτουν την ζωή των πεζών σε κίνδυνο : διαφορές μεταξύ ανθρώπου και μηχανής | Authors: | Καρακασίδη, Αικατερίνη | Keywords: | χάρτες θερμότητας;eye tracker;αλγόριθμοι βαθιάς μάθησης;επεξηγησιμότητα μοντέλων | Advisor: | Θεοδοσίου, Ζήνωνας | Issue Date: | May-2023 | Department: | Department of Communication and Internet Studies | Faculty: | Faculty of Communication and Media Studies | Abstract: | Οι σύγχρονες πόλεις έχουν κατακερματιστεί από έναν αυξανόμενο αριθμό εμποδίων και ζημιών στις υποδομές που δημιουργούν διάφορα προβλήματα που θέτουν σε κίνδυνο τους πεζούς πολίτες. Η ανάπτυξη αυτοματοποιημένων μεθόδων για τον εντοπισμό και την αναγνώριση ανθρώπων, εμποδίων και ζημιών σε οπτικά δεδομένα για τη δημιουργία ασφαλών αστικών περιβαλλόντων απασχολεί ιδιαίτερα την ερευνητική κοινότητα τα τελευταία χρόνια. Η χρήση αλγορίθμων βαθιάς μάθησης αποτελεί πλέον την κυρίαρχη προσέγγιση στην ανάλυση οπτικών δεδομένων με πολύ καλά αποτελέσματα σε ένα ευρύ φάσμα εφαρμογών, συμπεριλαμβανομένου του εντοπισμού εμποδίων. Ωστόσο, η εξήγηση της λειτουργίας των μοντέλων μάθησης παραμένει μια βασική πρόκληση για την απόκτηση σημαντικών γνώσεων σχετικά με τον τρόπο εκπαίδευσης των αλγορίθμων. Οι χάρτες θερμότητας που δημιουργούνται στο στάδιο εκπαίδευσης των αλγορίθμων βαθιάς μάθησης αναδεικνύουν τα σημεία εστίασης στην εικόνα εισόδου που βοήθησαν το παραγόμενο μοντέλο να προβλέψει την έξοδο και θα μπορούσαν να αποτελέσουν μια καλή αρχή προς αυτή την κατεύθυνση. H παρούσα εργασία παρουσιάζει τις ομοιότητες μεταξύ των χαρτών θερμότητας που δημιουργούνται από αλγορίθμους βαθιάς μάθησης που εκπαιδεύτηκαν να εντοπίζουν εμπόδια σε πεζοδρόμια σε εικόνες που συλλέχθηκαν μέσω κάμερας κινητού τηλεφώνου, και των χαρτών θερμότητας που δημιουργούνται από ανθρώπους καθώς εντοπίζουν τα αντίστοιχα εμπόδια στα ίδια δεδομένα. Αρχικά δημιουργήθηκαν οι χάρτες θερμότητας για 20 εικόνες που αφορούσαν 10 διαφορετικά εμπόδια για δύο αλγόριθμους αναγνώρισης εικόνας που βασίζονται στις αρχιτεκτονικές των συνελικτικών δικτύων και οπτικών μετασχηματιστών, αντίστοιχα. Οι εικόνες δόθηκαν στη συνέχεια σε 35 χρήστες από τους οποίους ζητήθηκε να εντοπίσουν τα εμπόδια δημιουργώντας τους χάρτες θερμότητας με τη βοήθεια ενός eye tracker. Οι χάρτες θερμότητας συγκρίθηκαν οπτικά μεταξύ τους οδηγώντας σε ενδιαφέροντα συμπεράσματα σχετικά με την αντίληψη εμποδίων από τον άνθρωπο και τη μηχανή, καθώς και τις ομοιότητες μεταξύ των σημείων εστίασης τους όταν εντοπίζουν διαφορετικά εμπόδια που θέτουν σε κίνδυνο την ασφάλεια των πεζών. Τα αποτελέσματα δείχνουν ότι οι χάρτες θερμότητας που δημιουργούνται από ανθρώπους μοιάζουν περισσότερο με την αρχιτεκτονική οπτικών μετασχηματιστών. | Description: | Contemporary cities have been fragmented by a growing number of construction barriers and infrastructure damages that generate several problems that set pedestrian citizens at risk. The development of automated methods for detecting and recognizing people, barriers, and damages in visual data to create safe urban environments has been of particular concern to the research community in recent years. The use of deep learning algorithms is now the dominant approach in visual data analysis with very good results in a wide range of applications including obstacle detection. However, the explainability of the deep learning models remains a key challenge in gaining significant knowledge about how algorithms are trained. Post-hoc explainability for deep learning models using heatmaps highlight the focal points in the input image that helped the generated model predict the output and could be a good start in that direction. This work presents the similarities between heatmaps generated by deep learning algorithms trained while training models to detect obstacles on sidewalks in images collected via a smartphone camera, and heatmaps generated by humans as they detect the corresponding obstacles on the same data. Heatmaps of 20 images related to 10 different obstacles were first generated by two state-of-the-art image recognition algorithms based on convolutional neural network and vision transform architectures, respectively. The image data set was then given to 35 users who were asked to locate the obstacles by generating the heatmaps with the help of an eye-tracker. The heatmaps were visually compared using a multi-grid step approach, yielding interesting insights into human and machine obstacle perception, as well as the similarities between their focus points when detecting different obstacles that put pedestrian safety at risk. Τhe results indicate that heatmaps created by humans resemble more closely to the vision transformer architecture. | URI: | https://hdl.handle.net/20.500.14279/29638 | Rights: | Attribution-NonCommercial-NoDerivatives 4.0 International | Type: | Bachelors Thesis | Affiliation: | Cyprus University of Technology |
| Appears in Collections: | Πτυχιακές Εργασίες/ Bachelor's Degree Theses |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| BSc_Aikaterini_Karakasidi_2023-new.pdf | 4.25 MB | Adobe PDF | View/Open |
CORE Recommender
Page view(s) 10
99
Last Week
2
2
Last month
5
5
checked on Jun 1, 2024
Download(s) 10
74
checked on Jun 1, 2024
Google ScholarTM
Check
This item is licensed under a Creative Commons License
