Περιγραφή του μαθήματος
Η Επιστήμη Δεδομένων περιλαμβάνει τις τεχνολογίες και τεχνικές για την ανάλυση και επεξεργασία δεδομένων. Τα δεδομένα, τα οποία αναφέρονται ως το πετρέλαιο του 21ου αιώνα, είναι η βάση για τη Μηχανική Μάθηση. Αυτή είναι ο κλάδος της Τεχνητής Νοημοσύνης που πραγματεύεται τη μελέτη αλγορίθμων και τεχνικών που βελτιώνονται με αυτοματοποιημένο τρόπο χάρη στην αξιοποίηση δεδομένων. Στο μάθημα θα γνωρίσουμε τα βασικά εργαλεία και αρχές για την αξιοποίηση δεδομένων με τεχνολογίες της Επιστήμης των Δεδομένων και της Μηχανικής Μάθησης, όπως αυτή μπορεί να εφαρμοστεί σε πραγματικά προβλήματα. Θα καλύψουμε ένα ευρύ φάσμα:
* Θα ξεκινήσουμε από την ανάλυση και επεξεργασία πρωτογενών δεδομένων, απαραίτητη προϋπόθεση και πρώτο βήμα σε οποιαδήποτε εφαρμογή Μηχανικής Μάθησης.
* Θα δούμε πώς να οπτικοποιούμε δεδομένα, ώστε αφενός να μπορούμε να τα κατανοήσουμε καλύτερα και αφετέρου να γνωρίζουμε πώς μπορούν να αξιοποιηθούν.
* Θα συζητήσουμε πώς μπορούμε να μάθουμε από αυτά με χρήση στατιστικών μεθόδων – η Μηχανική Μάθηση επεκτείνει, δεν αντικαθιστά την εργαλειοθήκη αξιοποίησης δεδομένων που μας δίνει η στατιστική όταν την εφαρμόζουμε στην πράξη.
* Θα συναντήσουμε διάφορες μεθόδους Μηχανικής Μάθησης με ευρύ πεδίο εφαρμογών, φτάνοντας μέχρι τεχνολογίες Βαθιάς Εκμάθησης.
Το όχημά μας θα είναι η γλώσσα Python, η οποία χρησιμοποιείται κατά κόρον στη Μηχανική Μάθηση. Για τη γνωριμία με την Εφαρμοσμένη Μηχανική Μάθηση δε χρειάζεται να είναι κάποιος δεινός προγραμματιστής. Μια εξοικείωση με την Python, ανοιχτό μυαλό, όρεξη για εκμάθηση εργαλείων και, προπάντων, διάθεση για τριβή με το αντικείμενο μπορούν να μας ανοίξουν την πόρτα σε έναν τομέα που έχει αλλάξει, αλλάζει και θα αλλάζει ολοένα και περισσότερο τη ζωή μας.
Eβδομάδα 1: Επεξεργασία και Ανάλυση Δεδομένων
1.1 Πρώτα βήματα στην επεξεργασία και ανάλυση δεδομένων
1.1.1 Εισαγωγή και προαπαιτούμενα μαθήματος
1.1.2 Πού είναι τα ταξί στη Νέα Υόρκη: Εισαγωγή στην επεξεργασία και ανάλυση δεδομένων, πρώτα βήματα στην οπτικοποίηση δεδομένων, Μέρος Α'
1.1.3 Πού είναι τα ταξί στη Νέα Υόρκη: Εισαγωγή στην επεξεργασία και ανάλυση δεδομένων, πρώτα βήματα στην οπτικοποίηση δεδομένων, Mέρος Β'
1.1.4 Πάει μακριά η βαλίτσα; Εισαγωγή στην επεξεργασία και ανάλυση δεδομένων, διερεύνηση τοπικών μεγίστων
1.1.5 Πότε παίρνουν ταξί οι Νεοϋορκέζοι; Χειρισμός ημερολογιακών δεδομένων
1.2 Κι άλλα βήματα στην επεξεργασία και ανάλυση δεδομένων
1.2.1 Tο είναι και το τίποτε: Χειρισμός ελλιπών δεδομένων, Mέρος Α'
1.2.2 Tο είναι και το τίποτε: Χειρισμός ελλιπών δεδομένων, Mέρος Β'
1.2.3 Κανονικές εκφράσεις
1.2.4 Η ισχύς εν τη ενώσει: Συγχώνευση δεδομένων, διερεύνηση πολιτικού χρήματος στις ΗΠΑ, Mέρος Α'
1.2.5 Η ισχύς εν τη ενώσει: Συγχώνευση δεδομένων, διερεύνηση πολιτικού χρήματος στις ΗΠΑ, Mέρος Β'
1.2.6 Τερματική μιζέρια: Ιεραρχικά ευρετήρια, διερεύνηση δεδομένων πτήσεων στις ΗΠΑ
Εβδομάδα 2: Οπτικοποίηση Δεδομένων
2.1 Matplotlib, seaborn, plotnine και όχι μόνο
2.1.1 Batman: Εισαγωγή στη βιβλιοθήκη matplotlib
2.1.2 To Νήμα της Ζωής: Οπτικοποίηση προσδόκιμου ζωής, Μέρος Α'
2.1.3 Το Νήμα της Ζωής: Οπτικοποίηση προσδόκιμου ζωής, Μέρος Β'
2.1.4 Ου Καλόν Είναι τον Άνθρωπον Μόνον: Οπτικοποίηση δεδομένων έρευνας NATSAL
2.1.5 Διαγράμματα ραντάρ
2.1.6 ggplot2 και seaborn Α', Μέρος Α'
2.1.7 ggplot2 και seaborn Α', Μέρος Β'
2.1.8 ggplot2 και seaborn B'
2.1.9 Ματαιότης Ματαιοτήτων: Θερμοχάρτες
2.1.10 Παρασπονδία, πέρα από την Python: χρήση JavaScript για δυναμικά διαγράμματα
Εβδομάδα 3: Μαθαίνοντας από τη Στατιστική
3.1 Μαθαίνοντας από τα δεδομένα μας με στατιστική στην Python
3.1.1 Συσχέτιση
3.1.2 Παλινδρόμηση, Μέρος Α'
3.1.3 Παλινδρόμηση, Μέρος Β'
3.1.4 Η τιμή των διαμαντιών: Πρόβλεψη τιμής, μετατροπή σε μοντέλο, διερεύνηση υπολοίπων
3.1.5 Πολλαπλή Παλινδρόμηση
3.1.6 Λογιστική Παλινδρόμηση, Μέρος Α'
3.1.7 Λογιστική Παλινδρόμηση, Μέρος Β'
3.1.8 Τι μουσική ακούει ο κόσμος; Διερεύνηση και οπτικοποίηση δεδομένων Spotify, χρήση και ερμηνεία ANOVA, Μέρος Α'
3.1.9 Τι μουσική ακούει ο κόσμος; Διερεύνηση και οπτικοποίηση δεδομένων Spotify, χρήση και ερμηνεία ANOVA, Μέρος Β'
Εβδομάδα 4: Πρώτη Επαφή με τη Μηχανική Μάθηση
4.1 Κατηγοριοποίηση
4.1.1 Μια (πολύ μικρή) εισαγωγή στη Μηχανική Μάθηση: Εισαγωγή στις βασικές έννοιες, μηχανές διανυσμάτων στήριξης, Μέρος Α'
4.1.2 Μια (πολύ μικρή) εισαγωγή στη Μηχανική Μάθηση: Εισαγωγή στις βασικές έννοιες, μηχανές διανυσμάτων στήριξης, Μέρος Β'
4.1.3 Μαθαίνοντας τους αριθμούς από το μηδέν μέχρι το εννέα: Αναγνώριση ψηφιοποιημένων χειρόγραφων χαρακτήρων, μετρικές απόδοσης Μηχανικής Μάθησης, Μέρος Α'
4.1.4 Μαθαίνοντας τους αριθμούς από το μηδέν μέχρι το εννέα: Αναγνώριση ψηφιοποιημένων χειρόγραφων χαρακτήρων, μετρικές απόδοσης Μηχανικής Μάθησης, Μέρος Β'
4.1.5 Ανακατέματα: Τεχνικές διαχωρισμού δεδομένων εκπαίδευσης και ελέγχου, κανονικοποίηση δεδομένων, Μέρος Α'
4.1.6 Ανακατέματα: Τεχνικές διαχωρισμού δεδομένων εκπαίδευσης και ελέγχου, κανονικοποίηση δεδομένων, Μέρος Β'
4.1.7 Ψαξίματα: Βελτιστοποίηση υπερπαραμέτρων
4.2 Ανάλυση Κύριων Συνιστωσών
4.2.1 PCA – LPI: Ανάλυση κύριων συνιστωσών στον Δείκτη Επίδοσης Εφοδιαστικής Αλυσίδας της Παγκόσμιας Τράπεζας, Μέρος Α'
4.2.2 PCA – LPI: Ανάλυση κύριων συνιστωσών στον Δείκτη Επίδοσης Εφοδιαστικής Αλυσίδας της Παγκόσμιας Τράπεζας, Μέρος Β'
4.2.3 Συλλήψεις: Ανάλυση κύριων συνιστωσών σε δεδομένα συλλήψεων στις ΗΠΑ
4.2.4 Η Μετανάστρια Μητέρα: Ανάλυση κύριων συνιστωσών σε εικόνα
4.2.5 Το χρώμα του κρασιού: Ανάλυση κύριων συνιστωσών σε κρασιά από την Πορτογαλία
Εβδομάδα 5: Δένδρα Αποφάσεων
5.1 Κατηγοριοποίηση
5.1.1 Ο γερο-πιστός: Συσταδοποίηση, Mέρος Α'
5.1.2 Ο γερο-πιστός: Συσταδοποίηση, Mέρος Β'
5.1.3 Παράξενες συστάδες: Καταλληλότητα μεθόδων συσταδοποίησης
5.1.4 Μαγιά και ζύμωση: Εφαρμογή συσταδοποίησης σε βιολογικά δεδομένα
5.1.5 Συστάδες και δένδρα: Ιεραρχική συσταδοποίηση
5.2 Δένδρα
5.2.1 Δένδρα και κλίματα: Δένδρα αποφάσεων και εφαρμογή σε δεδομένα κρασιών από την Πορτογαλία, Μέρος Α'
5.2.2 Δένδρα και κλίματα: Δένδρα αποφάσεων και εφαρμογή σε δεδομένα κρασιών από την Πορτογαλία, Μέρος Β'
5.2.3 Παπαγαλία: Υπερπροσαρμογή
5.2.4 Δένδρα κλάσεων
5.2.5 Δένδρα και δάση αποφάσεων, Μέρος Α'
5.2.6 Δένδρα και δάση αποφάσεων, Μέρος Β'
Εβδομάδα 6: Νευρωνικά Δίκτυα
6.1 Πρώτη Επαφή με Νευρωνικά Δίκτυα και Βαθιά Εκμάθηση
6.1.1 Από τους νευρώνες στα νευρωνικά δίκτυα, Μέρος Α'
6.1.2 Από τους νευρώνες στα νευρωνικά δίκτυα, Μέρος Β'
6.1.3 Από τους νευρώνες στα νευρωνικά δίκτυα, Μέρος Γ'
6.1.4 Από τους νευρώνες στα ρούχα: Χρήση νευρωνικού δικτύου για την αναγνώριση ενδυμάτων, Μέρος Α'
6.1.5 Από τους νευρώνες στα ρούχα: Χρήση νευρωνικού δικτύου για την αναγνώριση ενδυμάτων, Μέρος Β'
6.1.6 Υπερεκπαιδεύοντας τα σπίτια: Χρήση νευρωνικού δικτύου για την πρόβλεψη αξίας ακινήτων, υπερπροσαρμογή
6.1.7 Γκολφ, θερισμός, ομαλοποίηση: Τεχνικές αποφυγής υπερπροσαρμογής στα νευρωνικά δίκτυα
6.2 Αρχιτεκτονικές νευρωνικών δικτύων
6.2.1 Συνελικτικά Νευρωνικά Δίκτυα, Μέρος Α'
6.2.2 Συνελικτικά Νευρωνικά Δίκτυα, Μέρος Β'
6.2.3 Νευρωνικά Δίκτυα και Κείμενο: Ελάχιστη εισαγωγή, Μέρος Α'
6.2.4 Νευρωνικά Δίκτυα και κείμενο: Ελάχιστη εισαγωγή, Μέρος Β'
6.2.5 Επίλογος
Το μάθημα αυτό μπορείτε να το παρακολουθήσετε στον δικό σας ρυθμό. Αυτό σημαίνει πως όλα τα βίντεο και τα βαθμολογούμενα τεστ είναι ήδη διαθέσιμα. Συνεπώς, έχετε τη δυνατότητα να παρακολουθήσετε τις διαλέξεις και να υποβάλετε τα τεστ σε όποιον χρόνο εσείς επιλέξετε από την επίσημη ημερομηνία έναρξης του μαθήματος έως και την ημερομηνία λήξης του, στις 30 Σεπτεμβρίου.
Το μάθημα απευθύνεται σε κάθε ενδιαφερόμενο πολίτη, μπορείτε δηλαδή να εγγραφείτε χωρίς να υπάρχει κάποιο προαπαιτούμενο.
Επίσης, είναι βιντεοσκοπημένο και ασύγχρονο. Μπορείτε, συνεπώς, να το παρακολουθήσετε στην πλατφόρμα μας τις ημέρες και ώρες που επιθυμείτε. Έχει διάρκεια έξι εβδομάδων, τις οποίες μπορείτε να δείτε στο πρόγραμμά σας.
Πέρα από το διδακτικό υλικό, το μάθημα περιλαμβάνει εβδομαδιαία τεστ, μία τελική εξέταση και μία τελική εργασία. Η συμπλήρωση των τεστ γίνεται και αυτή στο δικό σας πρόγραμμα και είναι βεβαίως στη δική σας ευχέρεια. Αν όμως επιθυμείτε την έκδοση βεβαίωσης επιτυχούς παρακολούθησης, θα χρειαστεί να συμμετάσχετε στην τελική εξέταση/εργασία και στα περισσότερα τουλάχιστον τεστ.
Τα μαθήματα του Mathesis προσφέρονται δωρεάν και έτσι θα συνεχίσουν. Μπορείτε να τα παρακολουθήσετε μέχρι τέλους και να συμμετάσχετε στα εβδομαδιαία τεστ και την τελική εξέταση/εργασία. Εάν επιθυμείτε τη βεβαίωση επιτυχούς παρακολούθησης, θα σας ζητείται όμως ένα μικρό αντίτιμο –της τάξης των 30€– για την έκδοσή της, μετά την υποβολή της τελικής σας εξέτασης/εργασίας. Εάν δεν υποβάλετε την τελική σας εξέταση/εργασία –ή αν την υποβάλετε, αλλά δεν περάσετε το μάθημα– δεν υπάρχει κάποια υποχρέωση πληρωμής.
Αν έχετε ήδη λογαριασμό στο Mathesis, αρκεί να συνδεθείτε στο Mathesis με το email που έχετε ήδη δηλώσει και, στη συνέχεια, να εγγραφείτε στο μάθημα. Αν δεν έχετε λογαριασμό στο Mathesis, θα χρειαστεί προηγουμένως να δημιουργήσετε έναν. Αν τυχόν χρειαστείτε βοήθεια για την εγγραφή σας στο μάθημα ή στην πλατφόρμα του Mathesis, μπορείτε να δείτε εδώ τις σχετικές οδηγίες.
Ο Πάνος Λουρίδας είναι Αναπληρωτής Καθηγηγής στο Οικονομικό Πανεπιστήμιο Αθηνών, Τμήμα Διοικητικής Επιστήμης και Τεχνολογίας και Διευθυντής Έρευνας και Ανάπτυξης στο Εθνικό Δίκτυο Υποδομών, Τεχνολογίας και Έρευνας (ΕΔΥΤΕ). Είναι συγγραφέας των βιβλίων Real-World Algorithms (2017) και Algorithms (2020), που έχουν εκδοθεί από το MIT Press και έχουν μεταφραστεί και κυκλοφοφούν σε διάφορες γλώσσες στον κόσμο. Οι ερευνητικές του εργασίες εκτείνονται από την Τεχνολογία Λογισμικού στην Εφαρμοσμένη Κρυπτογραφία – χρησιμοποιεί εργαλεία Μηχανικής Μάθησης για την κατανόηση και αξιοποίηση δεδομένων μεγάλης κλίμακας.
Έγραψαν για το μάθημα
Συγχαρητήρια για το μάθημα και τη διδασκαλία! Ήταν εξαιρετικά! Ήταν έκπληξη ότι καλύφθηκε τόσο μεγάλο εύρος με κατανοητό και πρακτικό-εφαρμόσιμο τρόπο, δικαιώνοντας πλήρως τον τίτλο του μαθήματος.
-Xαράλαμπος X.
Προσωπικά, θεωρώ ότι το course ήταν εξαιρετικό. Μου άρεσε πάρα πολύ η δομή του και η ταχύτητα με την οποία αναπτύσσονταν τα θέματα. Προφανώς δεν εξαντλείται το αντικείμενο, αλλά είναι μια πολύ καλή αρχή για οποίον/α έχει όρεξη να ψάξει περαιτέρω το θέμα.
-Στέλιος Γ.
Τώρα που τελειώσαμε, θα ήθελα να συγχαρώ το Μathesis και τον κ. Λουρίδα για το εξαιρετικό μάθημα· οι διαλέξεις και τα notebooks είναι θησαυρός!
-Νίκος Π.
Ήταν πολύ ενδιαφέρον το μάθημα, με πρακτική εφαρμογή σε πραγματικά προβλήματα, όπως διαπίστωσα. Πριν το μάθημα, είχα πλήρη άγνοια περί τεχνητής νοημοσύνης και δεν ήμουν σίγουρος αν θα το παρακολουθούσα τελικά. Αρχικά, με εντυπωσίασε η οπτικοποίηση δεδομένων και οι δυνατότητες των pandas, NumPy και matplotlib. Σχετικά με την τεχνητή νοημοσύνη και τα νευρωνικά δίκτυα, φανταζόμουν ότι ήταν επιστημονική φαντασία, αλλά τελικά δεν είναι∙ είναι κάτι που έχει εφαρμογή με πολλά αξιόπιστα μοντέλα, αφού περιλαμβάνονται στο SciPy, Scikit-learn και σε πολλές άλλες βιβλιοθήκες της Python. Πολλές ευχαριστίες στον διδάσκοντα που κατέχει ένα αντικείμενο με πολύ μέλλον και φυσικά στο Mathesis.
-Ιωάννης Β.