Hadoop è un framework open source che consente agli utenti di archiviare, elaborare e analizzare grandi quantità di dati strutturati e non strutturati. Hadoop sia stato inizialmente sviluppato per facilitare l’indicizzazione dei motori di ricerca, dopo il lancio di Google l’attenzione si è spostata sui big data. Essendo una soluzione open source, Hadoop offre un basso costo di ingresso ed elimina la necessità di eseguire analisi di Big Data su costosi hardware locali. Di conseguenza, Hadoop è un’opzione interessante per le aziende che desiderano elaborare dati e archiviare grandi set di dati.
Oggi, questo framework per big data open source è supportato e gestito dalla Apache Software Foundation; quindi potresti sentire Hadoop chiamato Apache Hadoop.
Il nucleo di Hadoop è costituito da tre componenti principali:
- File system distribuito Hadoop
- Hadoop MapReduce
- FILATO Hadoop
Ma prima di apprendere i componenti principali di Hadoop, devi conoscere i demoni. I demoni sono processi in background che aiutano a eseguire l’infrastruttura distribuita. Questi processi eseguono attività di archiviazione ed elaborazione dei dati. I demoni principali in Hadoop includono quanto segue:
- NameNode: NameNode è il server principale che gestisce lo spazio dei nomi del file system e controlla anche l’accesso ai file. Fondamentalmente, mantiene l’albero delle directory e i metadati per tutti i file e le directory.
- DataNode: i DataNode sono nodi di lavoro responsabili della memorizzazione dei blocchi di dati effettivi. Copie multiple di ciascun blocco vengono distribuite su diversi DataNode per garantire la tolleranza agli errori.
- ResourceManager (RM): questo demone fa parte del sistema Yet Another Resource Negotiator (YARN) di Hadoop ed è responsabile della gestione e del monitoraggio delle risorse nel cluster. Il ResourceManager funge da sistema principale che coordina la distribuzione di attività specifiche (come le attività MapReduce).
- NodeManager (NM): il demone NodeManager viene eseguito su ciascuno dei nodi di lavoro, interoperando con ResourceManager. Monitora le risorse sul proprio nodo e fornisce feedback al ResourceManager. È anche responsabile dell’esecuzione delle attività sul proprio nodo come indicato dal ResourceManager.
1. File system distribuito Hadoop
Hadoop Distributed File System (HDFS) è il componente di archiviazione dei dati del sistema Hadoop. HDFS prende i dati archiviati nel sistema e li suddivide in blocchi più piccoli e più gestibili che vengono poi archiviati sui nodi dati nel cluster Hadoop.
Il file system distribuito Hadoop può ridurre in modo efficace ed efficiente set di dati di grandi dimensioni a dimensioni più gestibili. È possibile accedere simultaneamente a tutti i dati da ogni nodo dati per eseguire attività e analisi dei dati.
2. Hadoop MapReduce
MapReduce è il componente di programmazione principale del sistema Hadoop. Utilizzando Hadoop MapReduce, le attività relative ai big data possono essere suddivise in attività più piccole che vengono eseguite simultaneamente nell’intero cluster Hadoop.
L’elaborazione parallela riduce notevolmente il tempo necessario per elaborare i dati e riduce la probabilità di un guasto catastrofico del computer. MapReduce e HDFS sono strettamente correlati e necessitano l’uno dell’altro affinché il sistema funzioni correttamente.
3. FILATO Hadoop
Hadoop YARN (Yet Another Resource Negotiator) è responsabile della gestione delle risorse informatiche a livello di sistema. YARN pianifica e assegna le attività nel cluster Hadoop.
YARN non è esattamente il motore di elaborazione dati del sistema, ma è l’attività generale e il gestore delle risorse del sistema.
4. Hadoop comune
Hadoop Common non fa parte dei tre componenti originali di Hadoop. Hadoop Common è un quarto componente aggiunto da Apache. Common è una libreria Java che include utilità e applicazioni aggiuntive come HBase, Hive, Apache Spark, Sqoop e Flume.
Queste sono tutte funzionalità aggiuntive che migliorano le prestazioni e le capacità dell’ecosistema Hadoop.
Storia di Hadoop
La storia dei moderni data lake è stata resa possibile dall’ascesa di Hadoop. Con l’aumento della necessità di archiviare ed elaborare set di dati estremamente grandi, le piattaforme e gli strumenti esistenti non sono più in grado di soddisfare la domanda. I dati stavano cambiando e il data Lake basato su Hadoop ha svolto un ruolo centrale nella sua evoluzione.
Nel 2003, Google ha introdotto GFS (Google File System) per fornire un accesso adeguato ai dati nei file system distribuiti.
Nel 2004, Google ha pubblicato un libro bianco sulla riduzione delle mappe. Una tecnica e un modello di programma per l’elaborazione dei lavori nell’informatica basata su Java, dispone di importanti algoritmi per la riduzione di attività e mappe. Trasforma i dati e li trasforma in un set di dati.
Nel 2005, Doug Cutting e Mike Cafarella hanno introdotto NDFS (file system distribuito Nutch). Questo è un nuovo file system in Hadoop. Il file system distribuito Hadoop e il file system distribuito Nutch sono gli stessi.
Nel 2006, Google si è unito a Yahoo dopo le dimissioni di Doug. Doug Cutting ha realizzato un nuovo progetto sul file system distribuito Hadoop basato sul file system distribuito Nutch. Nello stesso anno venne rilasciata la prima versione di Hadoop, la 0.1.0.
Nel 2007 Yahoo ha iniziato a eseguire due cluster contemporaneamente su 1.000 macchine.
Nel 2008 Hadoop è diventato il sistema più veloce.
Nel 2013 è stato rilasciato Hadoop 2.2.
Nel 2017 è stato rilasciato Hadoop 3.0.
Perché dovresti usare Hadoop?
Hadoop viene utilizzato in situazioni in cui vengono generate grandi quantità di dati e la tua azienda ha bisogno di approfondimenti da questi dati. La forza di Hadoop risiede nella sua struttura poiché quasi la maggior parte del software può essere collegata e utilizzata per la visualizzazione dei dati. Può essere espanso da un sistema a migliaia di sistemi in un cluster e questi sistemi possono essere sistemi di fascia bassa. Hadoop non dipende dall’hardware per l’elevata disponibilità.
Allora perché dovresti usare Hadoop?
- I risparmi sui costi di Hadoop sono significativi rispetto ai sistemi legacy.
- Ha un solido supporto comunitario che si evolve con nuovi sviluppi nel tempo.
Come funziona Hadoop?
Hadoop consente di distribuire enormi set di dati su cluster di hardware di base. Aiuta le aziende a archiviare ed elaborare rapidamente grandi quantità di dati utilizzando l’elaborazione parallela su più server.
Quando utilizzano Hadoop, i clienti possono seguire i passaggi seguenti:
- I client inviano dati e programmi a Hadoop.
- HDFS gestisce metadati e file system distribuiti.
- Hadoop MapReduce elabora e trasforma i dati di input e output.
- YARN divide le attività in un cluster.
- Sfruttando l’esperienza Hadoop, i clienti hanno maggiore efficienza, tempi di risposta più rapidi e la capacità di sfruttare al meglio i big data.
Vantaggi dell’utilizzo di Hadoop per i Big Data
Hadoop è una delle soluzioni Big Data più antiche sul mercato e ci sono molti vantaggi nell’utilizzare questo sistema.
I vantaggi più importanti di Hadoop includono quanto segue:
- Costo
- Forza
- Tolleranza ai guasti
- Flessibilità
- Costo
1. Costo
Uno dei fattori più importanti per qualsiasi tecnologia aziendale è il costo. Uno dei principali vantaggi di Hadoop è il costo associato al suo utilizzo. Il sistema Hadoop è open source, quindi la tua azienda non dovrà pagare per costose soluzioni software.
Inoltre, Hadoop utilizza hardware di base per archiviare i dati, il che garantisce che la tua azienda non debba investire in costose infrastrutture hardware. Hadoop è probabilmente la soluzione più conveniente per le aziende tra tutte le soluzioni Big Data.
2. Potenza
Il modello di risorse informatiche distribuite di Hadoop consente alle aziende di elaborare rapidamente i big data. L’elaborazione distribuita offre alla tua azienda l’accesso a più risorse di elaborazione rispetto a quelle locali.
Con Hadoop, maggiore è il numero di nodi dati utilizzati dalla tua azienda, più potenti saranno le sue capacità di elaborazione. Non troverai un sistema Big Data più potente al prezzo di Hadoop.
Le aziende che desiderano utilizzare appieno i propri dati ed elaborarli rapidamente possono trarre vantaggio dalla potenza di calcolo offerta da Hadoop.
3. Tolleranza agli errori
Il calcolo distribuito offre vantaggi alle aziende che vanno oltre l’immensa potenza di calcolo che offre. Il modello di calcolo distribuito di Hadoop garantisce inoltre che le transazioni dei dati siano protette in caso di guasto hardware.
Se un nodo va offline a causa di un guasto hardware, tutte le attività relative ai dati vengono automaticamente instradate a un nodo attivo e le transazioni dei dati continuano senza interruzioni.
Non puoi permetterti di perdere dati preziosi o che le operazioni di elaborazione vadano offline a causa di un guasto hardware. Il modello distribuito di Hadoop offre una forte tolleranza agli errori che può dare alle aziende fiducia nelle operazioni relative ai big data.
4. Flessibilità
Hadoop offre alle aziende una notevole flessibilità in termini di archiviazione dei dati. Nei database relazionali tradizionali, tutti i dati devono essere preelaborati prima dell’archiviazione per garantire che tutti i formati dei dati siano coerenti.
Hadoop semplifica l’archiviazione di dati provenienti da più fonti perché i dati non necessitano di essere pre-elaborati o strutturati in un modo particolare. Puoi raccogliere qualsiasi tipo di dati e archiviarli nel modo desiderato dalla tua azienda. Hadoop consente alla tua azienda di archiviare dati e decidere come verranno utilizzati in seguito.
Inoltre, Hadoop è estremamente scalabile, il che rappresenta il massimo della flessibilità. Se hai bisogno di più spazio di archiviazione o di maggiore potenza di elaborazione, è facile aggiungere ulteriori nodi e migliorare i livelli di prestazioni con poco lavoro amministrativo.
5. Traffico di rete minimo
Hadoop suddivide ciascuna attività in diverse sottoattività più piccole, ciascuna assegnata a un nodo dati disponibile in un cluster. Ciascun nodo elabora una piccola quantità di dati, consentendo un traffico di rete complessivamente inferiore.
6. Alta efficienza
Il file system distribuito di Hadoop assegna vari lavori a vari nodi all’interno di un cluster. Il processo parallelo fornisce un’elevata efficienza; Ciò significa maggiore efficienza e produttività per te e la tua azienda.
Svantaggi di Hadoop
Nonostante i suoi numerosi vantaggi, Hadoop presenta anche alcune sfide uniche. Alcuni degli svantaggi più importanti da tenere a mente riguardo a Hadoop includono quanto segue:
1. Sfide relative a file di piccole dimensioni
Uno dei maggiori ostacoli di questo strumento è che a volte si occupa di file di piccole dimensioni.
Funziona bene per un numero limitato di file di grandi dimensioni. Ma nel caso opposto, molti file di piccole dimensioni potrebbero caricare ulteriormente il Namenode (nodo master nell’architettura HDFS) e interferire con il suo corretto funzionamento.
2. Potenziali problemi di sicurezza
Hadoop è scritto principalmente in Java, uno dei linguaggi di programmazione più conosciuti al mondo. In sostanza, il fatto che utilizzi Java lo rende meno sicuro perché i criminali informatici possono capirlo e sfruttarlo più facilmente.
3. Curva di apprendimento ripida
Il framework Hadoop può essere complesso da comprendere e da utilizzare per gli utenti finali. L’architettura richiede anche una conoscenza approfondita e risorse significative per l’installazione, la manutenzione e l’aggiornamento.
A cosa serve Hadoop?
Alcune delle applicazioni chiave di Hadoop sono le seguenti:
1. Analisi dei big data
Uno dei motivi principali della popolarità di Hadoop è la sua competenza nell’elaborazione di enormi set di dati. Fornisce una piattaforma per l’analisi di grandi set di dati strutturati e non strutturati.
Esempio: i rivenditori analizzano le abitudini di acquisto, le preferenze e il feedback dei clienti per personalizzare le offerte di prodotti, ottimizzare le strategie di prezzo e migliorare il servizio clienti.
2. Analisi dei registri e del flusso di clic
I file di registro e i flussi di clic forniscono un tesoro di dati sul comportamento degli utenti. Può elaborare questi grandi set di log per ottenere informazioni approfondite.
Esempio: un sito Web di e-commerce può analizzare i log per comprendere il modo in cui gli utenti navigano nel sito, il che può essere efficace per migliorare l’interfaccia utente o personalizzare le promozioni.
3. Data warehouse e business intelligence (BI)
Può archiviare grandi quantità di dati provenienti da diverse fonti in modo distribuito e integrarsi con gli strumenti di BI per fornire approfondimenti aziendali.
Esempio: un istituto finanziario può combinare dati provenienti da vari sistemi in Hadoop e quindi utilizzare gli strumenti di BI per ottenere informazioni dettagliate sulle tendenze del mercato, sulla segmentazione dei clienti e sull’analisi dei rischi.
4. Raccomandazione sui contenuti
La personalizzazione è vitale nell’era digitale di oggi. Può elaborare e analizzare i dati dell’utente per fornire contenuti personalizzati o consigli sui prodotti.
Esempio: i servizi di streaming come Netflix o Spotify analizzano le abitudini di visione o ascolto di un utente per consigliare rispettivamente programmi, film o musica.
5. Analisi di immagini e video
L’elaborazione dei dati di immagini e video richiede l’analisi di file di grandi dimensioni. Hadoop può gestirlo in modo efficiente grazie alla sua capacità di elaborazione dati distribuita.
Esempio: nel settore sanitario, i file di imaging medico possono essere elaborati per rilevare modelli o anomalie e assistere nella diagnosi.
6. Simulazione scientifica ed elaborazione dati
Viene utilizzato anche dalla comunità scientifica per eseguire simulazioni ed elaborare i grandi set di dati risultanti.
Esempio: gli scienziati del clima possono utilizzare Hadoop per simulare e analizzare i cambiamenti climatici globali sulla base di vari parametri e dati storici.
7. Migliorare la qualità della ricerca
I motori di ricerca elaborano grandi quantità di dati per migliorare i risultati della ricerca. Questo aiuta a memorizzare e analizzare i dati.
Esempio: una società di motori di ricerca può analizzare le query di ricerca degli utenti, le percentuali di clic e il feedback del sito Web per migliorare continuamente la pertinenza dei risultati di ricerca.
8. Individuazione e prevenzione delle frodi
Analizzando i dati delle transazioni e il comportamento degli utenti, è possibile identificare modelli che indicano attività fraudolente.
Esempio: le società di carte di credito possono elaborare milioni di transazioni utilizzando Hadoop per identificare potenziali transazioni fraudolente in base a modelli stabiliti.
9. Analisi dei social media
Le piattaforme social generano enormi quantità di dati degli utenti ogni secondo. Può elaborare questi dati per ottenere informazioni dettagliate sul comportamento, le preferenze e le tendenze degli utenti.
Esempio: un’azienda potrebbe analizzare tweet o post sul suo prodotto per valutare il sentimento del pubblico o identificare le tendenze emergenti.
Alternative Hadoop
1.Apache Spark
Il framework Spark è l’alternativa più popolare a Hadoop. Apache lo ha creato come sistema di elaborazione batch collegabile per Hadoop, ma ora funziona in modo autonomo. Il suo principale vantaggio rispetto ad Hadoop è il supporto per l’elaborazione in streaming (in tempo reale), che rappresenta un’attenzione crescente da parte delle società di software data la crescita dell’intelligenza artificiale e del deep learning.
Spark supporta l’elaborazione del flusso basandosi sull’elaborazione in memoria e non sull’elaborazione basata su disco. Questo approccio fornisce un throughput molto maggiore rispetto a Hadoop.
2. Tempesta Apache
Storm è un altro strumento Apache progettato per l’elaborazione in tempo reale. Utilizza topologie di flusso di lavoro che vengono eseguite ininterrottamente fino allo spegnimento o all’interruzione del sistema. Storm legge e scrive file su HDFS, ma non può essere eseguito su un cluster Hadoop (si basa invece su Zookeeper).
La più grande differenza tra Storm e Hadoop è il modo in cui elaborano i dati. Hadoop prende i dati e li distribuisce tra i nodi per l’elaborazione prima di riportarli su HDFS per un uso successivo. Storm non dispone di questo avvio e arresto separati per l’elaborazione dei dati; Consente l’elaborazione di eventi complessi (CEP) trasformando e analizzando i dati ad esso immessi in un flusso continuo.
3. Cef
Questa piattaforma facilita l’archiviazione a livello di oggetti, file e blocchi archiviando gli oggetti in un singolo nodo distribuito sulla rete. La sua principale caratteristica distintiva da Hadoop è l’architettura completamente distribuita senza singoli punti di errore.
Ceph copia i dati ed è tollerante ai guasti, eliminando la necessità di hardware speciale. Aiuta a ridurre i costi amministrativi consentendo una rapida identificazione e correzione degli errori del cluster di server. Puoi accedere allo storage Ceph da Hadoop senza HDFS.
Ceph supera Hadoop quando si tratta di gestire file system di grandi dimensioni. La progettazione centralizzata di HDFS crea un singolo punto di errore, rendendo meno conveniente l’organizzazione dei dati in file e cartelle.
4. Idra
Questo sistema di elaborazione distribuito può eseguire molte attività relative ai big data meglio di Hadoop. Supporta operazioni batch e streaming. Hydra archivia ed elabora i dati negli alberi di molti cluster e può elaborare cluster contenenti centinaia di nodi.
Hydra dispone di un gestore cluster per ribilanciare e allocare automaticamente i lavori ai cluster. Utilizza la replica dei dati e la gestione automatica degli errori dei nodi per garantire la tolleranza agli errori.