Prezentare generală Apache Storm: Ce este, arhitectură și motive pentru a utiliza

Datele sunt omniprezente și, odată cu creșterea digitizării, apar noi provocări în fiecare zi în ceea ce privește gestionarea și procesarea datelor.

A avea acces la date în timp real ar putea părea o caracteristică „drăguță de a avea”, dar pentru o organizație cu investiții semnificative în sfera digitală, este aproape o necesitate.

Ce lideri din industrie folosesc Apache Storm?

Adesea, datele care nu sunt analizate la un moment dat ar putea deveni în curând redundante pentru companii. Analiza datelor pentru a găsi modele care pot fi avantajoase pentru companie este o cerință. Modelele nu trebuie deduse pe o perioadă lungă de timp; ar trebui extrase doar datele relevante care dictează tendințele actuale în timp real.

Având în vedere nevoile și randamentul analizei datelor în timp real, organizațiile au venit cu diverse instrumente de analiză. Un astfel de instrument este Apache Storm.

Ce este Apache Storm?

Lansat de Twitter, Apache Storm este o rețea distribuită, open-source, care procesează cantități mari de date din diverse surse. Instrumentul îl analizează și actualizează rezultatele la o interfață de utilizare sau la orice altă destinație desemnată, fără a stoca date. Citiți mai multe despre Apache Storm.

Apache Storm efectuează procesare în timp real pentru bucăți nelimitate de date, similar modelului de procesare de către Hadoop pentru loturi de date.

Creat inițial de Nathan Marz la Black Type, o companie de analiză socială, a fost ulterior achiziționat și deschis de Twitter. Scris în Java și Clojure, acesta continuă să fie standardul pentru procesarea datelor în timp real în industrie.

Arhitectura Apache Storm

1. Nimbus (nodul principal)

Nimbus este un daemon, adică un program care rulează în fundal fără controlul unui utilizator interactiv. Funcționează pentru Apache Storm, similar cu funcționarea Job tracker din Hadoop. Funcția sa îi cere să atribuie coduri și sarcini mașinilor și chiar să monitorizeze performanțele acestora.

2. Serviciul de supraveghere (nodul lucrător)

Nodurile de lucru din Storm rulează un serviciu numit Supervisor. Aceste noduri sunt responsabile pentru primirea lucrărilor atribuite de Nimbus acestor mașini. Pe lângă gestionarea tuturor lucrărilor atribuite de Nimbus, pornește sau oprește procesul conform cerințelor.

Fiecare dintre aceste procese de către Supraveghetori ajută la executarea unei părți a procesului pentru a finaliza topologia.

3. Topologie

Storm Topology este o rețea formată din duze și șuruburi. Fiecare nod din sistem este prezent pentru a procesa logici și legături și pentru a demonstra căile de unde vor trece datele.

Ori de câte ori o topologie este trimisă la Storm, Nimbus consultă supervizorii despre nodurile de lucru.

4. Flux

Fluxurile sunt o secvență de tupluri care sunt create și procesate într-un mod distribuit paralel. Dar ce sunt tuplurile? Ele sunt principalele structuri de date din Storm. Sunt liste denumite cu valori variate, cum ar fi numere întregi, octeți, flooturi, matrice de octeți etc.

5. Pipa

Un Spout este o cale de intrare pentru toate datele în tuplu. Este responsabil pentru intrarea în contact cu sursa reală de date, primirea datelor în mod continuu, transformarea lor în tupluri și, în final, trimiterea lor către bolts pentru a fi procesate.

6. Șuruburi

Bolturile sunt în centrul tuturor procesării logice din Storm. Prin urmare, ei efectuează toată prelucrarea topologiei. Bolturile pot fi folosite pentru o varietate de funcții, inclusiv filtrare, funcții, agregare și chiar conectarea la baze de date.

Aflați despre: Apache Spark Architecture

De ce Apache Storm?

Funcționarea Apache Storm este destul de asemănătoare cu cea a lui Hadoop. Ambele sunt rețele distribuite utilizate pentru procesarea Big Data. Ele oferă scalabilitate și sunt utilizate pe scară largă în scopuri de business intelligence. Deci, de ce Storm și de ce este atât de diferită?

Iată principalele motive pentru a alege Storm:

• Storm efectuează procesarea fluxului în timp real, în timp ce Hadoop face în mare parte procesarea în lot.
• Topologia Storm rulează până la oprire de către utilizator. Procesele Hadoop sunt finalizate în cele din urmă în ordine secvențială.
• Procesele Storm pot accesa mii de date dintr-un cluster, în câteva secunde. Sistemul Hadoop Distributed folosește cadrul MapReduce pentru a produce o cantitate mare de cadre care vor dura minute sau ore.

Organizațiile care folosesc Apache Storm

Odată implementat, Storm nu este doar ușor de operat, dar este și capabil să proceseze datele în câteva secunde. Având în vedere avantajele ample ale Storm, multe organizații l-au folosit.

1. Twitter

Apache Storm oferă o gamă largă de funcții la Twitter. Storm se integrează bine cu restul infrastructurii Twitter, care are sisteme de baze de date precum Cassandra, Memcached, Mesos, infrastructura de mesagerie, sisteme de monitorizare și alertă.

2. Infocimpanzei

Infochimps folosește Storm ca sursă pentru unul dintre serviciile sale de date cloud – Serviciile de livrare a datelor. Acesta folosește Storm pentru a oferi o colectare de date, un transport și o procesare complicată în flux a serviciilor cloud, care poate fi extinsă liniar.

3. Spotify

Este, fără îndoială, liderul în platformele de streaming de muzică. Cu 50 de milioane de utilizatori din întreaga lume și 10 milioane de abonați, oferă o gamă masivă de conținut în timp real, cum ar fi recomandări muzicale, analize, creații de anunțuri etc. Apache Storm ajută Spotify să furnizeze aceste funcții cu precizie.

De asemenea, a permis companiei să livreze cu ușurință sisteme de distribuție cu latență scăzută, tolerante la erori.

4. RocketFuel

RocketFuel este o companie care valorifică puterea inteligenței artificiale pentru a crește rentabilitatea investiției în marketing în media digitală. Ei caută să construiască o platformă pe Storm care să poată urmări afișările, clicurile, solicitările de licitare etc. în timp real. Această platformă ar trebui să funcționeze prin clonarea fluxurilor de lucru critice ale conductei ETL bazate pe Hadoop.

5. Flipboard

Flipboard este un ghișeu unic pentru a răsfoi și a salva toate știrile care vă interesează. La Flipboard, Apache Storm este integrat cu sisteme precum Hadoop, ElasticSearch, HBase și HDFS pentru a crea platforme extrem de extensibile.

Aici, servicii precum căutarea de conținut, analiză în timp real, feed personalizat pentru reviste etc. – toate sunt furnizate cu ajutorul Apache Storm.

6. Wego

Wego este un metamotor de căutare pentru călătorii care a apărut în Singapore. Aici, datele vin din toată lumea, la momente diferite. Cu ajutorul Storm, Wego este capabil să caute date în timp real, să rezolve orice probleme coexistente și să ofere cele mai bune rezultate utilizatorului final.

Citește și: Rolul Apache spark în Big Data.

Concluzie

Înainte ca Storm să fie scrisă, datele în timp real au fost procesate folosind cozi și abordări ale firelor de lucru. Unele cozi vor scrie continuu date, iar altele le vor citi și procesa în mod constant. Acest cadru nu a fost doar extrem de fragil, ci și greu de timp. Ar fi petrecut mult timp pentru a se ocupa de pierderea datelor, de a menține întregul cadru, de a serializa/deserializa mesajele, mai degrabă decât de a efectua munca efectivă.

Apache Storm este o modalitate inteligentă de a trimite doar datele ca Spout și Bolt și restul procesării ca Topologie.

Apache Storm este un cadru de calcul predominant, open-source și de procesare a fluxului pentru analiza în timp real a datelor. Multe organizații îl folosesc deja; de fapt, unii dezvoltă software mai bun și util cu el.

Dacă sunteți interesat să aflați mai multe despre Big Data, consultați programul nostru PG Diploma în Dezvoltare Software Specializare în Big Data, care este conceput pentru profesioniști care lucrează și oferă peste 7 studii de caz și proiecte, acoperă 14 limbaje și instrumente de programare, practică practică. ateliere de lucru, peste 400 de ore de învățare riguroasă și asistență pentru plasarea unui loc de muncă cu firme de top.

Învață cursuri de dezvoltare software online de la cele mai bune universități din lume. Câștigați programe Executive PG, programe avansate de certificat sau programe de master pentru a vă accelera cariera.