Altro VERIFICATO
Session 1 2024
119 visualizzazioni
9 download
Nessun voto ancora
Di cosa parla
Riassunto AI · si legge in un minuto
Distributed architectures handle big data processing by splitting tasks across multiple nodes, optimizing resource utilization. Spark application reads TemperatureReadings.txt once but processes it multiple times. Spark Streaming examples show different execution orders leading to varying results based on operations order and windowing. PoliDataCenters manages servers, patches, and applied patches with HDFS files. MapReduce job for last 2022 patch per server involves one mapper and two reducers. Spark application selects servers with max 2022 patches and up-to-date servers, storing results in separate folders.
Leggi il riassunto completo
- Applicazione Spark: legge TemperatureReadings.txt una volta, ma l'inputRDD viene utilizzato diverse volte per calcoli successivi.
- Applicazioni Streaming Spark: le variabili resADStream e resBDStream possono avere valori diversi a seconda del contenuto di inputDStream, mentre resCDStream potrebbe essere uguale a uno di loro.
- Esercizio 1 - MapReduce: applicazione per trovare l'ultimo patch applicato nel 2022 su ciascun server. Richiede due job con riduttori diversi.
- Esercizio 2 - Spark RDDs: applicazione per selezionare i server con il maggior numero di patch applicate nel 2022 e i server aggiornati, utilizzando input file specifici e output in diverse cartelle HDFS.
Riassunto generato con l'intelligenza artificiale a partire dagli appunti. Come lo facciamo
Stai vedendo l'anteprima delle prime pagine. Il file completo è gratis: registrati per leggerlo tutto.
Studia questi appunti con l'AI
Riassunto e domande d'esame sono gratis: chiedili e ti mandiamo un'email quando sono pronti.
In preparazione: di solito è pronto in giornata.
Questo appunto è gratis. Registrati in 30 secondi per leggere tutte le pagine e scaricarlo.
Simula l'esame con domande costruite su questi appunti.
Di cosa parla l'insegnamento
Distributed architectures for big data processing and analytics · 1° anno · 2° semestre · 8 CFU · ING-INF/05
The course aims at providing: • Knowledge of the main problems and opportunities arising in the big data context and technological characteristics of the infrastructures and distributed systems used to deal with big data (e.g., Hadoop and Spark). • Ability to write distributed programs to process and analyze big data…