Apache Spark vs Hadoop Mapreduce – Ce trebuie să știți
Publicat: 2019-09-05Big Data este ca omniprezentul Big Brother în lumea modernă. Cazurile de utilizare din ce în ce mai mari ale Big Data în diverse industrii au dat naștere la numeroase tehnologii Big Data, dintre care Hadoop MapReduce și Apache Spark sunt cele mai populare. În timp ce atât MapReduce, cât și Spark sunt proiecte emblematice open-source dezvoltate de Apache Software Foundation, ele sunt și cei mai puternici concurenți unul dintre alții.
În această postare, mai întâi, vom vorbi despre cadrele MapReduce și Spark, apoi vom trece la discutarea diferențelor cheie dintre ele.
Ce sunt Spark și MapReduce?
Spark este un cadru Big Data special conceput pentru a permite calcularea rapidă. Acesta servește ca un motor de procesare a datelor de uz general, care poate gestiona diferite sarcini de lucru, inclusiv lot, interactiv, iterativ și streaming. O caracteristică cheie a Spark este viteza – execută calcule în memorie pentru a crește viteza de procesare a datelor. Ca rezultat, funcționează bine pe un cluster de noduri de computer și permite o procesare mai rapidă a seturi de date mari.
Resilient Distributed Dataset (RDD) este structura de date primară a Spark. RDD este o colecție distribuită imuabilă de obiecte în care fiecare nod este împărțit în bucăți mai mici care pot fi calculate pe diferite noduri ale unui cluster. Acest lucru facilitează procesarea independentă a datelor în cadrul unui cluster.
MapReduce este un cadru open-source conceput pentru procesarea unor cantități mari de date într-un mediu paralel și distribuit. Poate procesa date numai în modul lot. Există două componente principale ale Hadoop MapReduce – HDFS și YARN.
Programarea MapReduce constă din două părți – Mapper și Reducer. În timp ce Mapper-ul se ocupă de sarcina de sortare a datelor, Reducer-ul combină datele sortate și le convertește în fragmente mai mici.
În ceea ce privește diferența fundamentală dintre aceste două cadre, este abordarea lor înnăscută a procesării datelor. În timp ce MapReduce procesează datele citind și scriind pe disc, Spark poate face în memorie. Astfel, Spark primește un avantaj față de MapReduce – de procesare rapidă.
Dar asta înseamnă că Spark este mai bun decât MapReduce? Din păcate, dezbaterea nu este atât de simplă. Pentru a face mai multă lumină asupra acestei probleme, vom descompune diferențele dintre ele punct cu punct.
Procesarea datelor
Spark : După cum am menționat mai devreme, Spark este mai mult un cadru de procesare hibrid și de uz general. Prin calcularea în memorie și optimizarea procesării, accelerează procesarea datelor în timp real. Este excelent pentru fluxuri de lucru, rularea de interogări interactive și algoritmi ML. Cu toate acestea, RDD-ul permite doar Spark-ului să stocheze date pe disc temporar prin scrierea doar a datelor vitale pe disc. Deci, încarcă un proces în memorie și îl reține în cache. Acest lucru face ca Spark să consume destul de mult memoria.
MapReduce : MapReduce este motorul nativ de procesare batch al Hadoop. Componentele sale (HDFS și YARN) permit o procesare mai lină a datelor lotului. Cu toate acestea, deoarece prelucrarea datelor are loc în mai multe etape ulterioare, procesul este destul de lent. Un avantaj al MapReduce este că permite stocarea permanentă – stochează datele pe disc. Acest lucru îl face potrivit pentru manipularea seturi de date masive. De îndată ce o sarcină este finalizată, MapReduce își oprește procesele și, prin urmare, poate rula simultan cu alte servicii.
Ușurință în utilizare
Spark : Când vine vorba de ușurința în utilizare, Spark ia coroana. Vine cu multe API-uri ușor de utilizat pentru Scala (limba nativă), Java, Python și Spark SQL. Deoarece Spark permite streaming, procesarea în lot și învățarea automată în același cluster, puteți simplifica cu ușurință infrastructura de procesare a datelor în funcție de nevoile dvs. De asemenea, Spark include un mod interactiv REPL (Read-eval-print loop) pentru rularea comenzilor care oferă feedback prompt utilizatorilor.
MapReduce : Deoarece Hadoop MapReduce este scris în Java, este nevoie de timp pentru a învăța sintaxa. Prin urmare, inițial, mulți ar putea considera că este destul de dificil să programeze. Deși MapReduce nu are un mod interactiv, instrumente precum Pig și Hive fac lucrul cu acesta puțin mai ușor. Există și alte instrumente (de exemplu, Xplenty) care pot rula sarcini MapReduce fără a necesita programare.
Toleranță la erori
Spark : Spark folosește RDD și diferite modele de stocare a datelor pentru toleranța la erori prin reducerea I/O în rețea. Dacă există o pierdere de partiție a unui RDD, RDD-ul va reconstrui acea partiție din informațiile stocate în memorie. Astfel, dacă un proces se blochează la jumătate, Spark va trebui să înceapă procesarea de la bun început.
MapReduce : Spre deosebire de Spark, MapReduce folosește conceptul de replicare pentru toleranța la erori prin Node Manager și ResourceManager. Aici, dacă un proces nu se execută la jumătatea drumului, MapReduce va continua de unde a rămas, economisind astfel timp.
Securitate
Spark : Deoarece Spark este încă la început, factorul său de securitate nu este foarte dezvoltat. Acceptă autentificarea printr-o foaie secretă partajată (autentificare prin parolă). În ceea ce privește interfața web, aceasta poate fi protejată prin filtre servlet javax. Caracteristicile Spark YARN și HDFS permit autentificarea Kerberos, permisiunile la nivel de fișier HDFS și criptarea între noduri.
MapReduce : MapReduce este mult mai dezvoltat și, prin urmare, are funcții de securitate mai bune decât Spark. Se bucură de toate avantajele de securitate ale Hadoop și poate fi integrat cu proiecte de securitate Hadoop, inclusiv Knox Gateway și Sentry. Prin furnizori terți validi, organizațiile pot chiar folosi Active Directory Kerberos și LDAP pentru autentificare.
Cost
Deși atât Spark, cât și MapReduce sunt proiecte open-source, există anumite costuri pe care trebuie să le suportați pentru ambele. De exemplu, Spark a avut nevoie de cantități mari de RAM pentru a rula sarcini în memorie și, în continuare, RAM este mai costisitoare decât hard disk-urile. Dimpotrivă, Hadoop este orientat pe disc – deși nu va trebui să cumpărați RAM costisitoare, va trebui să investiți mai mult în sisteme pentru distribuirea I/O-ului pe disc pe mai multe sisteme.
Deci, în ceea ce privește costul, depinde în mare măsură de cerințele organizației. Dacă o organizație trebuie să proceseze cantități masive de date mari, Hadoop va fi opțiunea eficientă din punct de vedere al costurilor, deoarece cumpărarea de spațiu pe hard disk este mult mai ieftină decât cumpărarea de spațiu de memorie extins. Mai mult, MapReduce vine cu o serie de oferte Hadoop-as-a-service și servicii bazate pe Hadoop care vă permit să săriți peste cerințele hardware și de personal. În comparație cu aceasta, există doar o mână de opțiuni Spark-as-a-service.
Compatibilitate
În ceea ce privește compatibilitatea, atât Spark, cât și MapReduce sunt compatibile unul cu celălalt. Spark poate fi integrat perfect cu toate sursele de date și formatele de fișiere acceptate de Hadoop. De asemenea, ambele sunt scalabile. Deci, compatibilitatea lui Spark cu tipurile de date și sursele de date este aproape aceeași cu cea a lui Hadoop MapReduce.
După cum puteți vedea, atât Spark, cât și MapReduce au caracteristici unice care le deosebesc unul de celălalt. De exemplu, Spark oferă analize în timp real de care MapReduce îi lipsește, în timp ce MapReduce vine cu un sistem de fișiere care îi lipsește lui Spark. Ambele cadre sunt excelente în modul lor distinct și ambele vin cu setul lor unic de avantaje și dezavantaje. În cele din urmă, dezbaterea dintre Spark și MapReduce se rezumă la nevoile dvs. specifice de afaceri și la tipul de sarcini pe care doriți să le îndepliniți.
Dacă sunteți interesat să aflați mai multe despre Big Data, consultați programul nostru PG Diploma în Dezvoltare Software Specializare în Big Data, care este conceput pentru profesioniști care lucrează și oferă peste 7 studii de caz și proiecte, acoperă 14 limbaje și instrumente de programare, practică practică. ateliere de lucru, peste 400 de ore de învățare riguroasă și asistență pentru plasarea unui loc de muncă cu firme de top.
Învață cursuri de dezvoltare software online de la cele mai bune universități din lume. Câștigați programe Executive PG, programe avansate de certificat sau programe de master pentru a vă accelera cariera.
