Ευφυής επεξεργασία και ανάλυση δεδομένων μεγάλου όγκου : Συλλογή και επεξεργασία δεδομένων μεγάλης συχνότητας και εύρους σε πραγματικό χρόνο για τον εντοπισμό ανωμαλιών - Βασιλείου, Χριστόφορος (Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής, Σχολή Μηχανικής και Τεχνολογίας, Τεχνολογικό Πανεπιστήμιο Κύπρου, 2018)
Η εργασία επικεντρώνεται σε τρόπους συλλογής και ανάλυσης Μεγάλων Δεδομένων σε μια συνεχώς μεταβαλλόμενη εποχή, καθώς και την υποβοήθηση της διαδικασίας λήψης αποφάσεων βασισμένων στα δεδομένα. Η παραγωγή τεράστιου όγκου δεδομένων σε επιχειρησιακό επίπεδο αλλά και γενικότερα, οδήγησε στην ανάγκη αξιοποίησης αυτής της πληροφορίας. Απώτερος σκοπός της παρούσας εργασίας είναι η ανάδειξη της σημαντικότητας της χρήσης καινοτόμων τεχνολογιών για διαχείριση και ανάλυση μεγάλων όγκων δεδομένων και πώς μπορούν να συμβάλουν σε τομείς όπως της αυτοκινητοβιομηχανίας. Μελετήθηκαν περιπτώσεις ανάλυσης σε πληροφορίες πραγματικού χρόνου οι οποίες είχαν προέλευση την πλατφόρμα κοινωνικής δικτύωσης Twitter, αλλά και μεγάλων συνόλων δεδομένων από τομείς της αυτοκίνησης. Για την πραγματοποίηση των πειραμάτων χρησιμοποιήθηκε η καινοτόμα τεχνολογία του Apache Spark. Αποτελέσματα της έρευνας ήταν η σκιαγράφηση της επιρροής των επιμέρους τμημάτων των οχημάτων στη συνολική ομαλή τους λειτουργία. Τα ευρήματα αναδεικνύουν πως οι αναλυτικές τεχνικές που εφαρμόζονται στα Μεγάλα Δεδομένα της αυτοκίνησης, έχουν τεράστια αξία για την προγνωστική συντήρηση των οχημάτων, την αποσαφήνιση των σφαλμάτων, καθώς και των αιτιών που τα προκαλούν. Σε τελικό στάδιο της εργασίας, τα δεδομένα που επεξεργάστηκαν και αναλύθηκαν μετατράπηκαν σε κατάλληλη μορφή που να επιτρέπει τη γραφική τους απεικόνιση, η οποία αποτελεί διαφορετική πτυχιακή εργασία συμφοιτητή μου. Εν κατακλείδι, αποτυπώθηκαν τα πλεονεκτήματα της ύπαρξης μιας πλατφόρμας που θα προσφέρει υπηρεσίες “ Software as a service ” (SaaS) σε επιχειρήσεις και οργανισμούς παντός είδους.
Keywords: Apache Spark; Ανάλυση Δεδομένων; Μεγάλα Δεδομένα; Spark Streaming; Ροή Δεδομένων; Pyspark; Επιχειρηματική Ευφυία; Αυτοκινητοβιομηχανία