Τίτλος μαθήματος

Βαθιά Μάθηση ΙΙ

Κωδικός μαθήματος

CSE 528

Τύπος μαθήματος

Υποχρεωτικό

Επίπεδο

Μεταπτυχιακό

Έτος / Εξάμηνο

Πρώτο Έτος / Β Εξάμηνο

Όνομα διδάσκοντα

Σωτήριος Χατζής

ECTS

8

Σκοπός και στόχοι μαθήματος

Το μάθημα "Βαθιά Μάθηση ΙΙ" αποτελεί τη συνέχεια της σειράς στη βαθιά μάθηση και εστιάζει σε προχωρημένα θέματα και σύγχρονες τεχνικές. Βασιζόμενο στο υπόβαθρο του "Βαθιά Μάθηση Ι", αυτό το μάθημα εισάγει τους φοιτητές σε καινοτόμες αρχιτεκτονικές νευρωνικών δικτύων και μεθοδολογίες. Εξετάζονται σύγχρονες εξελίξεις όπως τα μοντέλα μετασχηματιστών (transformers), οι μηχανισμοί αυτοπροσοχής, τα μοντέλα διάχυσης (diffusion), και άλλες προχωρημένες γενετικές αρχιτεκτονικές. Περιλαμβάνονται επίσης τεχνικές τακτοποίησης, βελτιστοποίησης και εκπαίδευσης μεγάλης κλίμακας, καθώς και εφαρμογές αιχμής στον χώρο της έρευνας και της βιομηχανίας. Στόχος είναι οι φοιτητές να κατανοήσουν και να εφαρμόσουν αυτές τις τεχνικές, προετοιμαζόμενοι για σύγχρονα ερευνητικά προβλήματα και καινοτόμες λύσεις βαθιάς μάθησης.

Μαθησιακά αποτελέσματα

Με την ολοκλήρωση του μαθήματος, οι φοιτητές θα μπορούν να:

1.      Περιγράφουν προηγμένες αρχιτεκτονικές βαθιάς μάθησης (όπως transformers) και να εξηγούν τις αρχές σχεδίασής τους.

2.      Εφαρμόζουν τεχνικές αιχμής (π.χ. γενετικά μοντέλα, προχωρημένη τακτοποίηση) για την επίλυση σύνθετων προβλημάτων.

3.      Αξιολογούν κριτικά σύγχρονες ερευνητικές δημοσιεύσεις και να παρουσιάζουν τα ευρήματά τους με σαφήνεια.

4.      Αναπτύσσουν λύσεις βαθιάς μάθησης για εφαρμογές μεγάλης κλίμακας ή καινοτόμες περιοχές, αντιμετωπίζοντας πρακτικές προκλήσεις.

Προαπαιτούμενα

Βαθιά Μάθηση Ι (ή αντίστοιχο μάθημα), ή πολύ καλή γνώση βασικών αρχών νευρωνικών δικτύων και αρχιτεκτονικών CNN/RNN.

Περιεχόμενο μαθήματος

Μοντέλα Μετασχηματιστών & Αυτοπροσοχή: Αρχιτεκτονική transformers, μηχανισμός αυτοπροσοχής, μοντέλα όπως BERT και GPT.

Γενετικά Νευρωνικά Δίκτυα: VAEs, GANs, αρχές βαθιάς παραγωγικής μοντελοποίησης και σύνθεση δεδομένων.

Μοντέλα Διάχυσης: Εισαγωγή σε μοντέλα διάχυσης για παραγωγή εικόνας/ήχου (π.χ. DDPM).

Προχωρημένες Τεχνικές Κανονικοποίησης: Στρατηγικές για γενίκευση, όπως data augmentation, adversarial training.

Εφαρμογές Αιχμής: LLMs στη φυσική γλώσσα, όραση υπολογιστών, ενισχυτική μάθηση, ερμηνευσιμότητα και ηθικά ζητήματα.

Μεθοδολογία διδασκαλίας

Όπως και στο μάθημα Deep Learning I, η διδασκαλία πραγματοποιείται μέσω εβδομαδιαίων διαλέξεων και συνεδριών με ενεργή συμμετοχή των φοιτητών. Κατά τις πρώτες επτά εβδομάδες, ο διδάσκων παρουσιάζει προχωρημένα θέματα της βαθιάς μάθησης, βασισμένα στην ύλη του μαθήματος. Στις έξι τελευταίες εβδομάδες του εξαμήνου, οι φοιτητές αναλαμβάνουν ενεργό ρόλο, παρουσιάζοντας επιλεγμένα πρόσφατα ερευνητικά άρθρα που σχετίζονται με τα θέματα που έχουν καλυφθεί.

Καθ’ όλη τη διάρκεια του μαθήματος, ο διδάσκων παρέχει διαφάνειες, σημειώσεις και συνοδευτικό υλικό αναφοράς για κάθε διάλεξη, και θέτει τακτικά προφορικές ερωτήσεις τόσο για την ύλη των διαλέξεων όσο και για τα ερευνητικά άρθρα, με σκοπό την ενίσχυση της ενεργούς συμμετοχής των φοιτητών. Οι φοιτητές καλούνται να ετοιμάζουν και να παραδίδουν σύντομες γραπτές περιλήψεις των ανατεθειμένων άρθρων πριν από κάθε μάθημα, καθώς και να συμβάλλουν ενεργά στις συζητήσεις στην τάξη.

Ο συνδυασμός διαλέξεων, φοιτητικών παρουσιάσεων, συζητήσεων επί ερωτημάτων και γραπτών περιλήψεων ενθαρρύνει την εις βάθος διερεύνηση της ύλης, ενισχύει την ικανότητα κριτικής ανάλυσης και προάγει την αυτοπεποίθηση των φοιτητών στη συζήτηση σύγχρονων ερευνητικών θεμάτων στον τομέα της βαθιάς μάθησης.

Βιβλιογραφία

Πρωτογενές Υλικό

Συλλογή πρόσφατων ερευνητικών άρθρων (διατίθενται μέσω της πλατφόρμας Moodle του μαθήματος), τα οποία αποτελούν τον βασικό κορμό μελέτης για κάθε θεματική ενότητα. Περιλαμβάνονται θεμελιώδεις εργασίες/ άρθρα σχετικά με transformers, diffusion models και άλλες προηγμένες τεχνικές, οι οποίες λειτουργούν ως κύρια πηγή γνώσης για το μάθημα.

Βιβλίο και Συμπληρωματικό Υλικό

Αν και δεν υπάρχει κάποιο σύγγραμμα που να καλύπτει πλήρως όλα τα σύγχρονα θέματα, οι φοιτητές μπορούν να συμβουλεύονται το Deep Learning των Ian Goodfellow, Yoshua Bengio και Aaron Courville (MIT Press, 2016), για τα θεμελιώδη κεφάλαια που σχετίζονται με μέρος της ύλης.

Πρόσθετο υλικό, όπως πρόσφατες βιβλιογραφικές ανασκοπήσεις (survey papers) και διαδικτυακά tutorials ή τεκμηριώσεις, θα προτείνονται από τον διδάσκοντα για ενότητες όπως οι transformers και τα diffusion models, συμπληρώνοντας τις διαλέξεις και την ανάγνωση των άρθρων.

Αξιολόγηση