Γενικά, μιια στοχαστική ή τυχαία διαδικασία είναι κάθε μετρήσιμο φαινόμενο που αναπτύσσεται τυχαία στο χρόνο. Στο μάθημα αυτό θα ληφθούν υπόψη μόνο τα απλούστερα μοντέλα, δηλαδή εκείνα όπου η διαδικασία κινείται με μια ακολουθία πηδημάτων σε διακριτά χρονικά βήματα. Θα γίνει συζήτηση για: Αλυσίδες Markov, οι οποίες χρησιμοποιούν την ιδέα της υπό όρους πιθανότητας για να παρέχουν μια ευέλικτη και ευρέως εφαρμόσιμη οικογένεια τυχαίων διαδικασιών. τυχαίους περιπάτους, οι οποίοι χρησιμεύουν ως θεμελιώδεις δομικοί λίθοι για την κατασκευή άλλων διαδικασιών, που είναι σημαντικές και από μόνες τους· και τη θεωρία της ανανέωσης, η οποία μελετά διαδικασίες που περιστασιακά «ξεκινούν από την αρχή». Τέτοιες διαδικασίες είναι κοινά εργαλεία στην οικονομία, τη βιολογία, την ψυχολογία και την επιχειρησιακή έρευνα, επομένως είναι πολύ χρήσιμες καθώς και ελκυστικές και ενδιαφέρουσες θεωρίες.
Οι στόχοι αυτής της ενότητας είναι να εισαγάγει την ιδέα μιας στοχαστικής διαδικασίας και να δείξει πόσο απλή θεωρία πιθανοτήτων και πινάκων μπορούν να χρησιμοποιηθούν για την οικοδόμηση αυτής της έννοιας σε ένα όμορφο και χρήσιμο κομμάτι εφαρμοσμένων μαθηματικών.