Il corso mira a fornire agli studenti i concetti teorici, le metodologie e gli strumenti analitici pratici necessari a: 1. Comprendere i concetti fondamentali dell'analisi dei dati, incluse le metodologie di pulizia…
Scheda dell'insegnamento
Obiettivi formativi
Il corso mira a fornire agli studenti i concetti teorici, le metodologie e gli strumenti analitici pratici necessari a:
1. Comprendere i concetti fondamentali dell'analisi dei dati, incluse le metodologie di pulizia dei dati, l'analisi esplorativa e i paradigmi di apprendimento automatico supervisionato/non supervisionato con le relative metriche di valutazione.
2. Applicare le metodologie di analisi dei dati per risolvere problemi reali mediante la preparazione e il filtraggio di dataset, l'implementazione di modelli di classificazione e clustering utilizzando scikit-learn di Python e/o Orange.
3. Sviluppare il giudizio critico nel confrontare diversi algoritmi, identificare bias nei dati e prendere decisioni consapevoli riguardanti gli approcci analitici appropriati.
4. Acquisire abilità comunicative per presentare risultati attraverso visualizzazioni appropriate e dimostrare la capacità di approfondire autonomamente le conoscenze utilizzando la documentazione tecnica e applicare l'apprendimento a nuovi problemi.
Programma
Unità 1: Fondamenti dell'Analisi dei Dati
- Introduzione all'analisi dei dati e all'apprendimento automatico
- Dataset: struttura, caratteristiche, qualità
- Pulizia dei Dati: gestione dei valori mancanti, outlier, inconsistenze
- Trasformazione dei Dati: normalizzazione, standardizzazione, ingegneria delle feature
- Analisi Esplorativa dei Dati (EDA)
- Visualizzazione dei dati
Unità 2: Apprendimento Automatico Supervisionato - Classificazione
- Introduzione all'apprendimento automatico supervisionato
- Pipeline di apprendimento automatico: training-validation-test, cross-validation
- Metriche di classificazione: accuracy, precision, recall, F1-score, ROC-AUC
- Algoritmi: k-Nearest Neighbors, Regressione Logistica, Alberi Decisionali, SVM
- Metodi di Ensemble: Random Forest, Gradient Boosting
- Metriche e Algoritmi Principali per la Regressione
Unità 3: Apprendimento Automatico Non Supervisionato
- Concetti di clustering: k-means, clustering gerarchico, DBSCAN
- Valutazione del clustering: silhouette score
Unità 4: Efficienza e Aspetti Etici nell'Analisi dei Dati
- Buone pratiche nell'analisi dei dati
- Bias nei dati e nei modelli
- Considerazioni etiche nell'uso dei dati
Unità 5: Laboratorio Pratico
- Scikit-learn e Orange per data mining
- Casi di studio e applicazioni reali
- Implementazione di pipeline complete
Prerequisiti: Conoscenza della matematica di base. Conoscenza dei fondamenti della statistica descrittiva e inferenziale.
Metodi didattici: Il corso include:
- Lezioni che presentano i fondamenti teorici e metodologici
- Esercitazioni teoriche con discussione di casi di studio
- Attività di laboratorio pratico in ambienti computazionali (Google Colab e/o Orange)
- Discussioni interattive su problemi reali
- Lettura di articoli scientifici e documentazione tecnica
Modalità d'esame
L'esame finale consiste in una prova pratica basata su un progetto di analisi dei dati precedentemente assegnato dal docente, sviluppato dal candidato, relazionato e presentato dal candidato. Il progetto consiste in:
1. Analizzare un dataset fornito
2. Applicare metodologie di preparazione e analisi esplorativa
3. Implementare modelli di classificazione e/o clustering
4. Valutare i modelli con metriche appropriate
5. Documentare il processo e i risultati
6. Presentare il progetto oralmente
Durante la presentazione, il docente verificherà l'acquisizione delle conoscenze.
Testi di riferimento
Per la preparazione dell’esame, è fortemente consigliato integrare i contenuti forniti durante le lezioni con i seguenti testi:
We stronglty suggest to integrate course slides provided by the lecture with the following textbooks:
Primary Texts:
- Levene, M., & Harris, M. (2024). Just Enough Data Science and Machine Learning: Essential Tools and Techniques. Addison-Wesley.
- Raschka, S., & Mirjalili, V. (2019). Python Machine Learning: Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow (Second Edition). Packt Publishing.
Supplementary Resources: - Python Documentation: https://docs.python.org/3/
- Google Colab: https://colab.research.google.com/
- Scikit-learn: https://scikit-learn.org/
- Orange: https://orange.readthedocs.io/
- Pandas, NumPy, Matplotlib
Risultati di Apprendimento Attesi.
Il corso mira a conseguire i seguenti risultati di apprendimento:
1. Conoscenza e comprensione: Gli studenti e le studentesse acquisiranno conoscenze relative ai concetti fondamentali dell'analisi dei dati, alle metodologie di preparazione e pulizia dei dati (data cleaning), all'analisi esplorativa (EDA), ai principali paradigmi di apprendimento automatico supervisionato e non supervisionato, e alle metriche di valutazione.
2. Conoscenza e comprensione applicate: Gli studenti e le studentesse saranno in grado di applicare le metodologie di analisi dei dati per risolvere problemi reali, preparare e filtrare dataset, e implementare modelli di classificazione e clustering utilizzando scikit-learn di Python e/o Orange.
3. Autonomia di giudizio: Gli studenti e le studentesse svilupperanno un approccio critico nell'analisi dei problemi di analisi dei dati, nella valutazione comparativa di diversi algoritmi, e nell'identificazione di bias nei dati.
4. Abilità comunicative: Gli studenti e le studentesse saranno in grado di utilizzare correttamente la terminologia specifica dell'analisi dei dati e dell'apprendimento automatico, di descrivere i processi di preparazione e i modelli utilizzati, e di presentare i risultati attraverso visualizzazioni appropriate.
5. Capacità di apprendimento: Gli studenti e le studentesse svilupperanno le competenze per approfondire autonomamente le metodologie e gli strumenti di analisi dei dati, utilizzare la documentazione tecnica delle librerie, e applicare le conoscenze a nuovi problemi.
Nell'esame finale, lo studente deve dimostrare:
1. Conoscenza e comprensione:
L'esame valuterà il livello di acquisizione dei principi fondamentali dell'analisi dei dati, delle metodologie di pulizia dei dati, dell'analisi esplorativa, dei paradigmi di apprendimento automatico supervisionato e non supervisionato, degli algoritmi principali, delle metriche di valutazione e dei fattori etici.
2. Conoscenza e comprensione applicate:
L'esame valuterà la capacità di applicare le conoscenze a problemi concreti di analisi dei dati, preparazione e trasformazione di dataset reali, selezione e implementazione di algoritmi appropriati, addestramento e validazione di modelli, analisi critica e interpretazione dei risultati.
3. Autonomia di giudizio:
L'esame valuterà la capacità di identificare soluzioni appropriate, confrontare diversi algoritmi e strategie, comprendere i compromessi e i vincoli, interpretare criticamente i risultati, identificare limitazioni e bias.
4. Abilità comunicative:
L'esame valuterà la capacità di utilizzare correttamente la terminologia specifica dell'analisi dei dati, descrivere chiaramente processi, modelli e criteri di valutazione, spiegare le scelte effettuate, presentare i risultati attraverso rappresentazioni appropriate.
5. Capacità di apprendimento:
L'esame valuterà la capacità di rielaborare autonomamente le conoscenze, applicarle a nuovi problemi e dataset diversi, consultare autonomamente la documentazione tecnica, comprendere articoli scientifici.
L'esame valuterà la capacità di rielaborare autonomamente le conoscenze, applicarle a nuovi problemi e dataset diversi.
Il voto finale è espresso in trentesimi ed è determinato tenendo conto delle conoscenze teoriche e metodologiche e delle competenze applicate dimostrate nello svolgimento della prova progettuale scritta, e della capacità di presentare in maniera chiara e argomentare correttamente e criticamente il progetto completato e rispondere correttamente e completamente alle domande poste dal docente.
La prova si intende superata con una valutazione pari o superiore a 18/30.
Per ottenere una valutazione eccellente (28-30/30 e lode), lo studente deve dimostrare una comprensione profonda dei concetti, una soluzione efficiente dei problemi, e una consapevolezza critica dei temi affrontati.
Codice insegnamento 7172