Τίτλος μαθήματος

Βαθιά Μάθηση Ι

Κωδικός μαθήματος

CSE 523

Τύπος μαθήματος

Υποχρεωτικό

Επίπεδο

Μεταπτυχιακό

Έτος / Εξάμηνο

Πρώτο Έτος / Α Εξάμηνο

Όνομα διδάσκοντα

Σωτήριος Χατζής

ECTS

8

Σκοπός και στόχοι μαθήματος

Το μάθημα "Βαθιά Μάθηση Ι" είναι το πρώτο από μία σειρά δύο μαθημάτων σχετικά με τη βαθιά μάθηση, με έμφαση στις βασικές έννοιες και τεχνικές. Το μάθημα αυτό καλύπτει τα θεμέλια της βαθιάς μάθησης, επιτρέποντας στους φοιτητές να κατανοήσουν πώς να κατασκευάζουν και να εκπαιδεύουν νευρωνικά δίκτυα αποτελεσματικά. Οι φοιτητές θα μάθουν τις βασικές αρχιτεκτονικές, την αρχή της μάθησης αναπαραστάσεων, μεθόδους εκπαίδευσης και βελτιστοποίησης, καθώς και εισαγωγή σε συνελικτικά και επαναλαμβανόμενα νευρωνικά δίκτυα. Στο τέλος του μαθήματος, οι φοιτητές θα είναι κατάλληλα προετοιμασμένοι για πιο προχωρημένα θέματα στο επόμενο μάθημα (Βαθιά Μάθηση ΙΙ) και για να ηγηθούν επιτυχημένων έργων μηχανικής μάθησης.

Μαθησιακά αποτελέσματα

Με την ολοκλήρωση του μαθήματος, οι φοιτητές θα μπορούν να:

1.      Περιγράφουν και να ταξινομούν τις θεμελιώδεις αρχές σχεδίασης συστημάτων βαθιάς μάθησης

2.      Υλοποιούν και να χρησιμοποιούν καθιερωμένες τεχνικές για την κατασκευή και εκπαίδευση βαθιών νευρωνικών δικτύων.

3.      Συνοψίζουν και να αξιολογούν κριτικά επιστημονικά άρθρα σχετικών θεμάτων.

4.      Εφαρμόζουν μεθόδους βαθιάς μάθησης σε ολοκληρωμένα έργα, από τη διατύπωση προβλήματος έως την υλοποίηση και αξιολόγηση μοντέλου.

Προαπαιτούμενα

Προπτυχιακό επίπεδο γνώσεων σε γραμμική άλγεβρα και στατιστική (αναμένεται και βασική εξοικείωση με ανάλυση και πιθανότητες).

Περιεχόμενο μαθήματος

Εισαγωγή στη Βαθιά Μάθηση: Ιστορικό, σημασία και εφαρμογές.

Βασικά Νευρωνικά Δίκτυα: Perceptrons, συναρτήσεις ενεργοποίησης, πολυεπίπεδα δίκτυα, αλγόριθμος backpropagation.

Αναπαραστάσεις Δεδομένων: Μάθηση χαρακτηριστικών αυτόματα έναντι παραδοσιακής εξαγωγής χαρακτηριστικών.

Εκπαίδευση Νευρωνικών Δικτύων: Στοχαστική καθοδική κλίση και παραλλαγές, συναρτήσεις κόστους, σταθερότητα εκπαίδευσης.

Κανονικοποίηση: L2, dropout, early stopping, και η επίδρασή τους στη γενίκευση.

Βελτιστοποίηση και Ρύθμιση Υπερπαραμέτρων: Ρυθμός μάθησης, μέγεθος batch, αρχικοποίηση, κανονικοποίηση batch.

Συνελικτικά Δίκτυα (CNNs): Αρχές, αρχιτεκτονικές, και εξαγωγή χωρικών χαρακτηριστικών.

Επαναλαμβανόμενα Δίκτυα (RNNs): Μοντελοποίηση ακολουθιών, LSTM/GRU.

Μεθοδολογία διδασκαλίας

Η διδασκαλία πραγματοποιείται μέσω εβδομαδιαίων διαλέξεων και συζητήσεων με ενεργή συμμετοχή των φοιτητών. Κατά τις πρώτες επτά εβδομάδες, ο διδάσκων παρουσιάζει τα θεμελιώδη θέματα της βαθιάς μάθησης όπως περιγράφονται στην ενότητα περιεχομένου. Στις έξι τελευταίες εβδομάδες του εξαμήνου, οι φοιτητές παρουσιάζουν επιλεγμένα ερευνητικά άρθρα σχετικά με τα εν λόγω θέματα.

Κατά τη διάρκεια του μαθήματος, ο διδάσκων παρέχει διαφάνειες και σημειώσεις και ενθαρρύνει τη συμμετοχή των φοιτητών μέσω προφορικών ερωτήσεων που σχετίζονται με την ύλη και τα ανατεθειμένα άρθρα. Αναμένεται από τους φοιτητές να ετοιμάζουν σύντομες γραπτές περιλήψεις των ερευνητικών άρθρων πριν από κάθε μάθημα και να συμβάλλουν ενεργά στις συζητήσεις στην τάξη.

Ο συνδυασμός διαλέξεων, φοιτητικών παρουσιάσεων, συζητήσεων επί ερωτημάτων και γραπτών περιλήψεων αποσκοπεί στην ενίσχυση του αναστοχασμού, στην εμβάθυνση της κατανόησης και στην καλλιέργεια κριτικής σκέψης γύρω από την εφαρμογή μεθόδων βαθιάς μάθησης.

Βιβλιογραφία

Πρωτογενές Υλικό:

Επιστημονικά άρθρα μέσω Moodle.

Συμπληρωματικό Βιβλίο:

Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, MIT Press, 2016.

Πρόσθετοι Πόροι:

Σημειώσεις διδάσκοντα, διαδικτυακοί οδηγοί και τεκμηρίωση εργαλείων.

Αξιολόγηση