L’insegnamento si propone di fornire agli studenti una conoscenza approfondita delle principali tecniche di machine learning e deep learning per l'analisi di dati di natura eterogenea. In particolare, verranno presentati…
Scheda dell'insegnamento
Obiettivi formativi
L’insegnamento si propone di fornire agli studenti una conoscenza approfondita delle principali tecniche di machine learning e deep learning per l'analisi di dati di natura eterogenea. In particolare, verranno presentati e approfonditi i principali algoritmi di classificazione di dati, di sequenze temporali di informazioni e di pattern complessi quali ad esempio le immagini, e le principali tecniche di apprendimento automatico sia di tipo supervisionato che non supervisionato. Inoltre, verranno illustrate le reti neurali e il loro funzionamento, presentate architetture neurali complesse per l’analisi di dati spaziali, temporali e modelli generativi e forniti i rudimenti dell’apprendimento con rinforzo. Verranno inoltre fornite competenze in merito alla spiegabilità degli algoritmi di machine learning. L’insegnamento contribuisce anche al potenziamento delle capacità trasversali Autonomia di giudizio, Abilità comunicative e Capacità di apprendimento degli studenti nell’ambito delle applicazioni dell’apprendimento automatico e dell’apprendimento profondo.
Programma
Lezione 0: Introduzione al corso
Modulo 1: Concetti di base (1 CFU)
· Lezione 1: Richiami di matematica per l’intelligenza artificiale
o Algebra lineare: vettori, matrici, spazi vettoriali;
o Statistica: correlazione, ipotesi e inferenza, p-values;
o Probabilità: variabili dipendenti e indipendenti, probabilità condizionata, Teorema di Bayes, inferenza bayesiana;
o Discesa del gradiente.
· Lezione 2: Dati e Pattern
o Tipi di dati : numerici, categorici, sequenze, immagini,
o Pattern,
o Acquisizione,
o Preprocessing.
· Lezione 3: Introduzione al Machine Learning e al Deep Learning
o Un po’ di storia
o Tipi di machine learning: supervisionato, non supervisionato, semi-supervisionato, Reinforcement learning
o Neuroni biologici e Neuroni artificiali
o Reti neurali artificiali, DNN
o Applicazioni
· Lezione 4: Metriche di valutazione
o o Valutazione dei modelli di machine learning e deep learning
o Confusion Matrix
o Precision, Recall, F-Measure, Sensitivity , Specificity
o Accuracy, ROC AUC
o MSE, RMSE, MAE
o Overfitting e Generalizzazione
Lezione 5: Gestione dei progetti di Apprendimento Automatico e Apprendimento Profondo
o Partizionare i dati: Training , Test, Validation set
o K-Fold cross validation
o Random Search
o Workflow dei progetti di Apprendimento Automatico e Apprendimento Profondo
Modulo 2: Fondamenti di programmazione python per il machine learning (1 CFU)
· Lezione 1: Configurare l’ambiente di sviluppo
o Installare Anaconda
o Creare Ambiente in anaconda
o Strumenti per il coding python in anaconda: jupither notebook, spider, pycharm.
· Lezione 2: Ambienti di sviluppo preconfigurati
o Accedere a Google colab
o Utilizzare le risorse avanzate di Google colab
o Salvare e condividere un progetto su Google colab
· Lezione 3: Lavorare con i dati in python
o Numpy, pandas
o Importare dati da excel,sql, csv
o Importare dati da repository esterni
o Strutture dati per il machine learning
o Visualizzazione dei dati , Matplotlib e Seaborn
· Lezione 4: Librerie per il machine learning e il deep learning
o Shikit-learn
o Tensor Flow
o Pythorch
o SciPy
· Lezione 5: Gestire un progetto in python
o Creazione di un progetto in pycharm
o Utilizzo di github per la gestione collaborativa dei progetti
o Utilizzo di google colab per la gestione collaborativa dei progetti
Modulo 3: Apprendimento Automatico Classificazione (1 CFU)
· Lezione 1: Naïve Bayes
o Algoritmo di classificazione Bayesiano
o Implementazione in python
o Applicazioni e limiti
· Lezione 2: Nearest Neighbor e KNN
o Metriche di distanza (Euclidea, Manhattan, Coseno)
o Algoritmo KNN e varianti
o Implementazione in python
o Applicazioni
· Lezione 3: Support Vector Machine
o Margine massimo e iperpiani
o Kernel
o Implementazione in python classificazione binaria e multiclasse
o Applicazioni
· Lezione 4: Decision tree
o Entropia e indice di Gini
o Overfitting e pruning
o Implementazione in python
o Interpretabilità
· Lezione 5: Random Forest
o Ensemble di alberi e bagging
o Importanza delle feature
o Implementazione in python
o Applicazioni
Modulo 4: Apprendimento Automatico Regressione (1 CFU)
· Lezione 1: Regressione Lineare
o Modello lineare semplice
o Stima dei coefficienti
o Implementazione in python
o Valutazione del modello
· Lezione 2: Regressione Lineare Multipla
o Estensione a più variabili
o Multicollinearità e VIF
o Implementazione in python
o Interpretazione dei coefficienti
· Lezione 3: Logistic Regression
o Funzione logistica
o Classificazione binaria e multiclasse
o Implementazione in python
o Applicazioni
· Lezione 4: Regressione Ridge e Lasso (Regolarizzazione)
o Overfitting nei modelli lineari
o Penalizzazione L1 e L2
o Implementazione in python
o Elastic Net
· Lezione 5: Modelli Basati su alberi
o Decision Tree Regressor
o Random Forest Regressor
o Gradient Boosting e XGBoost
o Implementazione in pyhton
Modulo 5: Apprendimento Automatico non supervisionato (1 CFU)
· Lezione 1: Clustering gerarchico
o Metriche di similarità
o Agglomerative vs divisive
o Dendrogrammi
o Implementazione in pyhton
· Lezione 2: K-means
o Algoritmo iterativo
o Scelta del numero di cluster
o Implementazione in pyhton
o Vantaggi e limiti
· Lezione 3: PCA
o Riduzione della dimensionalità
o Autovalori e autovettori
o Visualizzazione dei dati
o Implementazione in python
· Lezione 4: DBSCAN
o Principio di clustering basato sulla densità
o Identificazione di cluster di forma arbitraria e gestione degli outlier
o Parametri principali: epsilon (raggio) e minPts (numero minimo di punti)
o Implementazione in pyhton
· Lezione 5: t-SNE
o Riduzione non lineare
o Struttura locale dei dati
o Visualizzazione in 2D/3D
o Implementazione in pyhton
Modulo 6: Reti Neurali (1 CFU)
· Lezione 1: Percettrone
o Neurone artificiale
o Regola di aggiornamento dei pesi
o Limiti del percettrone
o Implementazione in pyhton
· Lezione 2: MLP
o Architettura con hidden layer
o Backpropagation
o Funzioni di attivazione
o Implementazione in pyhton
· Lezione 3: CNN
o Convoluzione e kernel
o Pooling
o Applicazioni in visione
o Implementazione in pyhton
· Lezione 4: RNN
o Architettura sequenziale
o Vanishing/exploding gradient
o LSTM e GRU
o Implementazione in pyhton
· Lezione 5: Classificazione e Regressione con Reti Neurali
o Output e funzioni di perdita per classificazione
o Output e funzioni di perdita per regressione
o Applicazioni pratiche
o Implementazione in pyhton
Modulo 7: Apprendimento Profondo (1 CFU)
· Lezione 1: Fondamenti del Deep Learning
o Differenze tra Machine Learning e Deep Learning
o Reti neurali profonde (DNN)
o Vantaggi e limiti del deep learning
· Lezione 2: Ottimizzazione nelle Reti Profonde
o Discesa del gradiente stocastico e varianti (SGD, Adam)
o Problemi di vanishing ed exploding gradient
o Batch normalization e dropout
· Lezione 3: Reti Convoluzionali Avanzate
o Architetture classiche: AlexNet, VGG, ResNet
o Residual connections e skip connections
o Data augmentation e transfer learning
· Lezione 4: Reti Ricorrenti Avanzate
o LSTM e GRU
o Sequence-to-sequence models
o Applicazioni nel NLP e nel time series forecasting
o Modelli multimodali
· Lezione 5: Generative Deep Learning
o Autoencoder e Variational Autoencoder (VAE)
o Generative Adversarial Networks (GANs)
o Applicazioni creative (immagini, testi, musica)
Modulo 8: Transformer (1 CFU)
· Lezione 1: Introduzione ai Transformer
o Limiti delle RNN nei dati sequenziali
o Architettura encoder-decoder
o Self-attention come concetto chiave
· Lezione 2: Meccanismo di Attenzione
o Scaled dot-product attention
o Multi-head attention
o Positional encoding
· Lezione 3: Architetture di Riferimento
o Transformer “puro” (Vaswani et al., 2017)
o BERT: pre-training e fine-tuning
o GPT e modelli autoregressivi
o Vision Transformer
· Lezione 4: Fine-Tuning e Prompt Engineering
o Transfer learning
o Fine-tuning per task specifici
o Prompt engineering
· Lezione 5: Applicazioni dei Transformer
o NLP: traduzione, question answering, text generation
o Vision Transformer (ViT) per le immagini
o Multimodal transformer (testo + immagini)
o Costi computazionali e scalabilità
o Etica, bias e implicazioni sociali
Modulo 9: Spiegabilità (1 CFU)
· Lezione 1: Introduzione alla Spiegabilità
o Black-box vs white-box models
o Importanza della spiegabilità in AI
o Regolamentazione ed etica
· Lezione 2: Metodi Post-hoc per Modelli Classici
o Feature importance nei modelli ad albero
o Partial Dependence Plots (PDP)
o LIME e SHAP per modelli di ML
· Lezione 3: Spiegabilità nel Deep Learning
o Saliency maps e gradient-based methods
o Class Activation Maps (CAM, Grad-CAM)
o Perturbation-based explanations
· Lezione 4: XAI per Transformer e NLP
o Attention visualization e interpretazione
o Analisi dei pesi nei layer di attenzione
o Limitazioni delle spiegazioni attention-based
· Lezione 5: Sfide e Prospettive della XAI
o Trade-off tra accuratezza e interpretabilità
o Robustezza delle spiegazioni
o Futuro della spiegabilità e AI trasparente
Modalità d'esame
Al termine del corso è previsto lo svolgimento di un esame di profitto composto da una parte progettuale e da una prova teorica. La valutazione della prova teorica andrà a fare media ponderata con la valutazione del progetto pratico richiesto che avrà un peso del 40% del voto totale. Lo svolgimento del progetto è obbligatorio e il conseguimento di una votazione sufficiente per esso (18/30) costituisce prerequisito per l’accesso alla prova teorica. Il progetto pratico è volto a dimostrare la capacità da parte dello studente di implementare un sistema di machine learning e/o deep learning. Lo studente dovrà sostenere una prova teorica volta a dimostrare la conoscenza degli argomenti trattati durante le lezioni ed in particolare dovrà dimostrare di aver acquisito le conoscenze teoriche relative all’implementazione di sistemi di machine learning e deep learning, alla loro valutazione e al loro utilizzo in ambiti reali. Sarà possibile svolgere l’esame teorico in due modalità: nelle sedi decentrate mediante lo svolgimento su supporto informatico (tablet appositamente dedicati) di un quiz a risposta multipla che prevede n°30 domande a risposta multipla più una 31esima domanda che verrà conteggiata solo in caso di risposte corrette a tutte le domande precedenti e che servirà per il conseguimento della lode; In presenza nelle sede di Roma in questo caso l’esame potrà essere in forma esclusivamente orale o composto da un test scritto e da un breve colloquio orale.
Testi di riferimento
Il docente consiglia l’integrazione del materiale fornito (videolezioni, dispense, slides, esercitazioni) con i seguenti testi, a cui il docente può fare riferimento durante le lezioni:
· Gareth James ,Daniela Witten ,Trevor Hastie ,Robert Tibshirani ,Jonathan Taylor “An Introduction to Statistical Learning with application in python” (gratuitamente disponibile all’indirizzo https://www.statlearning.com/)
· Ian Goodfellow and Yoshua Bengio and Aaron Courville “Deep Learning textbook” (gratuitamente disponibile all’indirizzo https://www.deeplearningbook.org/)
· Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola “ Dive into Deep Learning” (gratuitamente disponibile all’indirizzo https://d2l.ai/)
Codice insegnamento 0322509INGINF05