Compiti ed esercitazioni VERIFICATO
ES MapReduce
190 visualizzazioni
Nessun voto ancora
Di cosa parla
Riassunto AI · si legge in un minuto
Riassunto:
- Esempi di processamento big data utilizzando architetture distribuite.
- Mapper e Reducer per diverse operazioni come conteggio, report, media, massimo/minimo, analisi testuali, aggregazione dati.
- Utilizzo di Combiner per ridurre comunicazioni tra mapper e reducer.
- Configurazione del driver per specifiche esigenze (es. contatore, job map-only).
- Gestione di input multipli e output diversificati.
- Analisi di relazioni e potenziali amici in reti sociali.
- Sostituzione di parole con numeri utilizzando un dizionario.
- Applicazione di regole business per categorizzare utenti.
- Join tra file per creare nuove associazioni.
Leggi il riassunto completo
- Input: file con valori di PM10 per sensori; Output: report su sensori con PM10 sopra un threshold; MAPPER e REDUCER non specificati
- Input: file con valori di PM10 per zone; Output: report su zone con PM10 sopra un threshold; MAPPER e REDUCER non specificati
- Input: collection di file csv con valori di PM10 per sensori; Output: media valore di PM10 per sensore; MAPPER e REDUCER non specificati
- Input: file con valori di PM10 per sensori; Output: massimo e minimo valore di PM10 per sensore; MAPPER e REDUCER non specificati
- Input: file con frasi; Output: lista delle frasi contenenti ogni parola; MAPPER e REDUCER non specificati
- Input: file con incassi giornalieri; Output: incasso mensile per anno; MAPPER e REDUCER non specificati
- Input: collection di file csv con valori di PM10 per sensori; Output: totale record; MAPPER solo, utilizzo Counter
- Input: collection di file csv con valori di PM10 per sensori; Output: record con PM10 sotto un threshold; MAPPER solo, setNumReduceTasks(0)
- Input: file con date e incassi giornalieri; Output: data più proficua; MAPPER e REDUCER non specificati
- Input: collection di file testuali; Output: lista parole uniche associate a interi unici; MAPPER e REDUCER non specificati
- Input: due file con temperature sensori; Output: temperatura massima per data; MAPPER 1 e 2, reducer solo
- Input: file con temperature sensori; Output: linee con temperature <= 30.0; MAPPER solo
- Input: file con temperature sensori; Output: file “high-temp-” con temperature > 30.0, “normal-temp-” con temperature <= 30.0; MAPPER e reducer non specificati
- Input: file con frasi; file stopwords; Output: file senza parole stop; MAPPER e REDUCER non specificati
- Input: file con amicizie utenti; Output: amici dell’utente specificato; MAPPER e reducer non specificati
- Input: file con amicizie utenti; Output: potenziali amici dell’utente specificato; MAPPER 1 e 2, reducer 1 e 2 non specificati
- Input: file con amicizie utenti; Output: lista amici per ogni utente; MAPPER e reducer non specificati
- Input: file con amicizie ute
Riassunto generato con l'intelligenza artificiale a partire dagli appunti. Come lo facciamo
Stai vedendo l'anteprima delle prime pagine. Il file completo è gratis: registrati per leggerlo tutto.
Studia questi appunti con l'AI
Riassunto e domande d'esame sono gratis: chiedili e ti mandiamo un'email quando sono pronti.
In preparazione: di solito è pronto in giornata.
Questo appunto è gratis. Registrati in 30 secondi per leggere tutte le pagine e scaricarlo.
Simula l'esame con domande costruite su questi appunti.
Di cosa parla l'insegnamento
Distributed architectures for big data processing and analytics · 1° anno · 2° semestre · 8 CFU · ING-INF/05
The course aims at providing: • Knowledge of the main problems and opportunities arising in the big data context and technological characteristics of the infrastructures and distributed systems used to deal with big data (e.g., Hadoop and Spark). • Ability to write distributed programs to process and analyze big data…