Il corso si propone di fornire agli studenti le conoscenze teoriche, metodologiche e operative necessarie per compiere analisi economiche di valutazione delle politiche pubbliche mediante metodologie avanzate di intelligenza artificiale.
Al termine del corso, lo studente sarà in grado di:
comprendere i principi fondamentali della valutazione delle politiche pubbliche, distinguendo tra valutazione ex ante, valutazione in itinere, valutazione ex post, valutazione di processo e valutazione degli effetti;
formulare domande di valutazione precise, verificabili e rilevanti dal punto di vista economico e sociale, identificando la politica esaminata, la popolazione interessata, gli interventi, i gruppi di confronto, gli outcome e il contesto istituzionale;
ricostruire la teoria del cambiamento e i principali meccanismi causali attraverso i quali una politica pubblica può produrre effetti sui destinatari e sul sistema economico e sociale;
utilizzare, con rigore scientifico e in modo corretto, consapevole e affidabile, strumenti di intelligenza artificiale generativa per la formulazione delle domande di ricerca, la costruzione delle strategie di ricerca, la classificazione dei documenti, l’estrazione delle informazioni e la sintesi delle evidenze;
progettare ed eseguire strategie trasparenti e replicabili di ricerca della letteratura scientifica, applicando protocolli e criteri espliciti per l’identificazione, lo screening e la selezione degli studi;
valutare criticamente l’affidabilità delle fonti, la qualità metodologica degli studi, la robustezza delle evidenze e la validità delle risposte generate dai sistemi di intelligenza artificiale;
organizzare, pulire e analizzare corpora documentali e basi di dati bibliografici mediante tecniche di elaborazione automatica del linguaggio, analisi bibliometrica e topic modelling;
applicare e interpretare modelli di Latent Dirichlet Allocation e Structural Topic Modeling per individuare temi latenti, gruppi di documenti, evoluzioni temporali, differenze tra contesti istituzionali e lacune della letteratura;
integrare evidenze quantitative, qualitative e testuali per formulare conclusioni motivate sull’efficacia, l’efficienza, l’equità e la sostenibilità delle politiche pubbliche;
comunicare i risultati della valutazione attraverso report scientifici, policy brief, tabelle, grafici, mappe concettuali e altre forme di visualizzazione;
riconoscere e gestire i principali rischi connessi all’uso dell’intelligenza artificiale, tra cui errori fattuali, allucinazioni, opacità degli algoritmi, distorsioni nei dati, problemi di replicabilità, tutela della riservatezza, proprietà intellettuale e responsabilità scientifica.
Le competenze acquisite saranno immediatamente utilizzabili nel mercato del lavoro, in particolare nelle attività di consulenza economica e strategica, nelle amministrazioni pubbliche, nelle istituzioni nazionali e internazionali, nelle imprese, negli enti di ricerca, nelle organizzazioni del terzo settore e negli ambiti più propriamente scientifici e accademici.
Il Policy Evaluation Lab è un laboratorio dedicato alla valutazione scientifica delle politiche pubbliche mediante l’impiego integrato di metodi economici, strumenti di intelligenza artificiale e tecniche avanzate di analisi dei dati e dei testi. Il corso guiderà gli studenti lungo le principali fasi di un progetto di valutazione: formulazione della domanda di ricerca, analisi dei meccanismi attraverso cui le politiche pubbliche producono i loro effetti, ricerca e selezione delle evidenze, estrazione e organizzazione dei dati, analisi della letteratura, interpretazione dei risultati e comunicazione delle implicazioni di policy.
Particolare attenzione sarà dedicata all’utilizzo rigoroso e verificabile dell’intelligenza artificiale generativa, dei motori di ricerca semantica, degli strumenti di elaborazione automatica dei documenti e delle metodologie di text mining e topic modelling. Le attività avranno natura prevalentemente applicata e saranno orientate alla realizzazione di un progetto di valutazione di una politica pubblica.
1. Fondamenti e progettazione della valutazione delle politiche pubbliche
Finalità e funzioni della valutazione delle politiche pubbliche.
Politiche, programmi, interventi e progetti pubblici.
Valutazione ex ante, in itinere ed ex post.
Valutazione di processo, dei risultati e degli effetti.
Criteri di efficacia, efficienza, equità, sostenibilità e rilevanza.
Evidence-based policy ed evidence-informed policy.
Identificazione del problema pubblico e degli obiettivi dell’intervento.
Analisi dei meccanismi attraverso cui le politiche pubbliche producono i loro effetti.
Individuazione dei destinatari, degli stakeholder e degli indicatori di risultato.
Formulazione delle domande valutative e distinzione tra correlazione, previsione e causalità.
2. Intelligenza artificiale, metodo scientifico e prompt engineering
Fondamenti dell’intelligenza artificiale generativa e dei Large Language Models.
Applicazioni dell’IA alla valutazione delle politiche pubbliche.
Interazione tra automazione e giudizio del ricercatore secondo il principio dello human-in-the-loop.
Affidabilità, validazione e triangolazione delle informazioni.
Differenza tra contenuti generati dall’IA ed evidenze scientificamente verificate.
Struttura di un prompt efficace e applicazione della formula delle “4C”: contesto, comando, criteri e controllo.
Prompt per la ricerca bibliografica, lo screening dei documenti e l’estrazione strutturata dei dati.
Prompt iterativi, concatenazione dei compiti e verifica delle fonti.
Documentazione trasparente e replicabile delle interazioni con i sistemi di IA.
3. Formulazione delle domande di ricerca e ricerca sistematica delle evidenze
Caratteristiche delle domande descrittive, esplicative, predittive e causali.
Applicazione del framework PICO(S) alla valutazione delle politiche pubbliche.
Utilizzo dell’IA per precisare e delimitare la domanda di ricerca.
Trasformazione di un problema di policy in un protocollo di ricerca.
Consultazione di fonti scientifiche, statistiche e amministrative.
Banche dati bibliografiche, motori di ricerca accademici, letteratura peer-reviewed e letteratura grigia.
Costruzione delle stringhe di ricerca mediante operatori booleani, sinonimi e vocabolari controllati.
Ricerca semantica e strategie assistite dall’IA.
Predisposizione di un protocollo di revisione sistematica secondo le linee guida PRISMA.
Definizione dei criteri di inclusione ed esclusione, deduplicazione e screening dei documenti.
Trasparenza, tracciabilità e replicabilità delle decisioni di selezione.
4. Estrazione delle informazioni, valutazione della qualità e analisi bibliometrica
Costruzione di griglie per l’estrazione delle caratteristiche e dei risultati degli studi.
Estrazione assistita dall’IA da articoli scientifici e documenti in formato PDF.
Utilizzo di strumenti quali Elicit, SciSpace, NotebookLM o piattaforme equivalenti.
Gestione dei metadati e costruzione di dataset bibliografici e documentali.
Verifica delle informazioni estratte rispetto alle fonti originali.
Controllo degli errori, dei dati mancanti e delle incoerenze.
Valutazione della validità interna ed esterna degli studi.
Bias di selezione, misurazione e pubblicazione.
Problemi di confondimento, identificazione causale, robustezza e replicabilità.
Distinzione tra studi sperimentali, quasi-sperimentali, osservazionali e qualitativi.
Analisi bibliometrica di citazioni, co-citazioni, parole chiave, autori, istituzioni e paesi.
Clustering bibliometrico e analisi dell’evoluzione della letteratura.
5. Text mining, topic modelling e sintesi delle evidenze
Costruzione e preparazione di un corpus documentale.
Matrici documento-termine e rappresentazioni vettoriali dei testi.
Scelta del numero di topic, diagnostica, coerenza semantica ed interpretazione dei temi.
Fondamenti e applicazioni dello Structural Topic Modeling.
Utilizzo di covariate documentali relative ad anno, paese, istituzione, metodologia e tipologia di politica.
Analisi della prevalenza dei temi e della loro evoluzione temporale.
Confronto tra gruppi di documenti e contesti istituzionali.
Sintesi narrativa e strutturata delle evidenze.
Identificazione di risultati convergenti o divergenti, tendenze emergenti e lacune della letteratura.
Distinzione tra assenza di evidenza ed evidenza dell’assenza di effetti.
6. Comunicazione dei risultati, uso responsabile dell’IA e progetto finale
Struttura di un rapporto di valutazione e di una revisione sistematica.
Preparazione di executive summary e policy brief.
Traduzione dei risultati scientifici in implicazioni e raccomandazioni di policy.
Comunicazione dell’incertezza e distinzione tra risultati, interpretazioni e raccomandazioni.
Creazione di tabelle, grafici, mappe concettuali, infografiche e graphical abstract.
Utilizzo di strumenti di scrittura e visualizzazione assistiti dall’IA.
Integrità scientifica, trasparenza, attribuzione delle fonti e responsabilità dell’autore.
Allucinazioni, bias algoritmici, protezione dei dati, copyright e proprietà intellettuale.
Documentazione dei prompt, degli strumenti utilizzati e delle verifiche effettuate.
Realizzazione di un progetto individuale di valutazione di una politica pubblica, comprendente la formulazione della domanda, la ricerca e selezione delle evidenze, l’analisi dei dati o dei testi, l’interpretazione economica dei risultati e la presentazione delle implicazioni di policy.
L’impiego dell’intelligenza artificiale dovrà essere dichiarato e documentato. Gli studenti dovranno dimostrare di avere verificato le informazioni prodotte dagli strumenti utilizzati, motivato le principali scelte metodologiche e garantito la tracciabilità e la replicabilità del processo di analisi.
L’esame consisterà nella predisposizione di un progetto individuale di valutazione di una politica pubblica. Il progetto sarà impostato durante le attività di laboratorio e successivamente sviluppato e perfezionato attraverso il lavoro autonomo dello studente.
Obiettivo dell’esame è accertare la capacità dello studente di progettare e sviluppare con rigore scientifico la valutazione di una politica pubblica, applicando correttamente le metodologie economiche e gli strumenti di intelligenza artificiale. In conformità con i descrittori di Dublino, saranno valutate la conoscenza dei contenuti, la capacità di applicarli a problemi concreti, l’autonomia nella scelta e nella valutazione delle fonti e dei metodi, l’interpretazione critica dei risultati, la chiarezza espositiva e la capacità di utilizzare autonomamente le competenze acquisite.
Lo studente, disabile e/o con DSA, che intende usufruire di un intervento individualizzato per lo svolgimento della prova d’esame deve contattare l'ufficio Integrazione Disabili dell'Università del Salento all'indirizzo [email protected] "
Nel corso delle lezioni saranno resi disponibili esercizi e dispense e saranno indicate le parti necessarie per la preparazione dell’esame. Lo studente può accedere al materiale didattico distribuito attraverso la piattaforma https://elearning.unisalento.it/ richiedendo una password di accesso al docente.