Παρατήρηση επιπτώσεων sentiment analysis σε LLM μικρού όγκου

Abstract

Aναλύσαμε τις διαφορές η προσθήκη σκιαγράφηση προφίλ του συντάκτη(author profiling) μπορεί να κάνει στις απαντήσεις που δημιουργούνται από ένα chatbot συνομιλίας. Περιγράφουμε σε λεπτομέρεια τα χαρακτηριστικά του αλγορίθμου που χρησιμοποιούμε για επισήμανση δεδομένων ως αφορά το εσωστρεφή και εξωστρεφή λόγο και πως αυτά επηρεάζουν τα αποτελέσματα σε LLM. Ακολούθως το ενσωματώνουμε στον “αγωγό”(pipeline) του chatbot συνομιλίας μας έτσι ώστε πριν το chatbot να αναλύσει και να απαντήσει στο μήνυμα το μοντέλο αξιολόγησης πλαισίου μας να καθορίζει το πλαίσιο του περιεχομένου του. Ακολούθως το Chatbot θα αλλοιώσει τα βάρη του chatbot συνομιλίας έτσι να δημιουργήσει μία πιο κατάλληλη απάντηση. Σε συνέχεια θα χρησιμοποιήσουμε 1 μοντέλο NLG(Natural Language Generation) μέτρησης που ονομάζονται BLEU με αρχιτεκτονική W-CNN ώστε να μετρήσουμε την διαφορά ποιότητας των απαντήσεων με και χωρίς σκιαγράφηση προφίλ του συντάκτη, στη συνέχεια θα αναλύσουμε και θα συγκρίνουμε αυτά τα δεδομένα οδηγώντας στο συμπέρασμά μας ότι με τη χρήση αυτής της τεχνικής το chatbot θα έχει βελτιωθεί και στις 2 βαθμολογίες μέτρησης αποδεικνύοντας έτσι ότι έχει μετρήσιμο θετικό αντίκτυπο στην απόδοσή του.