Στόχος Μαθήματος:

Το μάθημα έχει στόχο να δημιουργήσει το θεωρητικό και πρακτικό υπόβαθρο που θεμελιώνει τις κύριες αρχές και τεχνικές που εμπλέκονται στην αυτόματη αναγνώριση, ανάλυση,  παραγωγή και επεξεργασία της φυσικής γλώσσας. Επίσης, τη πρακτική εφαρμογή μεθόδων ανάλυσης  και επεξεργασίας της φυσικής γλώσσας με δημοφιλή αρθρώματα και εργαλεία στη Python.

Μαθησιακά Αποτελέσματα:

Με το τέλος του μαθήματος οι φοιτητές/τριες αναμένεται να γνωρίζουν τις κύριες έννοιες και τεχνικές που εφαρμόζουν τα συστήματα Επεξεργασίας Φυσικής Γλώσσας (ΕΦΓ), και να μπορούν να εκτιμήσουν τη χρήση των μεθόδων ΕΦΓ στις σύγχρονες τεχνολογίες αναγνώρισης και παραγωγής φυσικής γλώσσας.

Πιο συγκεκριμένα, οι φοιτητές αναμένεται: 

1.     Να κατανοούν τις θεμελιώδεις έννοιες και χαρακτηριστικά της φυσικής γλώσσας

2.     Να κατανοούν τα διάφορα επίπεδα γλωσσολογικής επεξεργασίας

3.     Να κατανοούν τις μεθόδους και τη σημασία της μορφολογικής ανάλυσης 

4.     Να κατανοούν τη συντακτική ανάλυση κειμένων με γραμματικές χωρίς συμφραζόμενα

5.     Να κατανοούν πώς προκύπτει η αμφισημία σε διάφορα επίπεδα και τις προκλήσεις στην αναγνώριση πληροφορίας 

6.     Να κατανοούν τα γλωσσικά μοντέλα και τη χρήση τους στην αυτόματη παραγωγή της φυσικής γλώσσας

7.     Να χρησιμοποιούν εργαλεία στην Python για την επεξεργασία και την ανάλυση κειμένων από συλλογές κειμένων και ιστοσελίδες

Περιεχόμενο Μαθήματος:

1.     Εισαγωγή στις αρχές και στόχους της Επεξεργασίας Φυσικής Γλώσσας

2.     Μορφολογική Ανάλυση

3.     Προ-επεξεργασία (Tokenization, Stopping, Καθαρισμός κειμένου/ιστοσελίδων, Ομαλοποίηση κειμένου, Ανάλυση δομής Ιστοσελίδων)

4.     Διόρθωση Ορθογραφίας και Μοντέλο Θορυβώδους Καναλιού

5.     Ν-Γραμμα γλωσσικά μοντέλα

6.     Συνεκφραζόμενα

7.     Κλάσεις λέξεων και επισημάνσεις μερών του λόγου

8.     Συντακτική ανάλυση και γραμματικές χωρίς συμφραζόμενα

9.     Διανυσματική αναπαράσταση κειμενικών δεδομένων

10.  Λεξική Σημασιολογία

11.  Κατηγοριοποίηση κειμένου