Στόχοι Μαθήματος:Το μάθημα "Βαθιά Μάθηση ΙΙ" αποτελεί τη συνέχεια της σειράς στη βαθιά μάθηση και εστιάζει σε προχωρημένα θέματα και σύγχρονες τεχνικές. Βασιζόμενο στο υπόβαθρο του "Βαθιά Μάθηση Ι", αυτό το μάθημα εισάγει τους φοιτητές σε καινοτόμες αρχιτεκτονικές νευρωνικών δικτύων και μεθοδολογίες. Εξετάζονται σύγχρονες εξελίξεις όπως τα μοντέλα μετασχηματιστών (transformers), οι μηχανισμοί αυτοπροσοχής, τα μοντέλα διάχυσης (diffusion), και άλλες προχωρημένες γενετικές αρχιτεκτονικές. Περιλαμβάνονται επίσης τεχνικές τακτοποίησης, βελτιστοποίησης και εκπαίδευσης μεγάλης κλίμακας, καθώς και εφαρμογές αιχμής στον χώρο της έρευνας και της βιομηχανίας. Στόχος είναι οι φοιτητές να κατανοήσουν και να εφαρμόσουν αυτές τις τεχνικές, προετοιμαζόμενοι για σύγχρονα ερευνητικά προβλήματα και καινοτόμες λύσεις βαθιάς μάθησης.

Μαθησιακά Αποτελέσματα: Με την ολοκλήρωση του μαθήματος, οι φοιτητές θα μπορούν να: (1) Περιγράφουν προηγμένες αρχιτεκτονικές βαθιάς μάθησης (όπως transformers) και να εξηγούν τις αρχές σχεδίασής τους. (2) Εφαρμόζουν τεχνικές αιχμής (π.χ. γενετικά μοντέλα, προχωρημένη τακτοποίηση) για την επίλυση σύνθετων προβλημάτων. (3) Αξιολογούν κριτικά σύγχρονες ερευνητικές δημοσιεύσεις και να παρουσιάζουν τα ευρήματά τους με σαφήνεια. (4) Αναπτύσσουν λύσεις βαθιάς μάθησης για εφαρμογές μεγάλης κλίμακας ή καινοτόμες περιοχές, αντιμετωπίζοντας πρακτικές προκλήσεις.

Περιεχόμενο Μαθήματος: (1) Μοντέλα Μετασχηματιστών & Αυτοπροσοχή: Αρχιτεκτονική transformers, μηχανισμός αυτοπροσοχής, μοντέλα όπως BERT και GPT. (2) Γενετικά Νευρωνικά Δίκτυα: VAEs, GANs, αρχές βαθιάς παραγωγικής μοντελοποίησης και σύνθεση δεδομένων. (3) Μοντέλα Διάχυσης: Εισαγωγή σε μοντέλα διάχυσης για παραγωγή εικόνας/ήχου (π.χ. DDPM). (4) Προχωρημένες Τεχνικές Κανονικοποίησης: Στρατηγικές για γενίκευση, όπως data augmentation, adversarial training. (5) Εφαρμογές Αιχμής: LLMs στη φυσική γλώσσα, όραση υπολογιστών, ενισχυτική μάθηση, ερμηνευσιμότητα και ηθικά ζητήματα.