Ei spun că datele sunt noul ulei – este cu adevărat adevărat?
Publicat: 2018-01-05high in demand Trebuie să vă întrebați – Profesioniștii de date sunt foarte solicitați perks get there Care sunt avantajele ajunge acolo Să înțelegem totul:
Cuprins
Ce este de fapt Big Data?
Într-o zi obișnuită, generăm aproximativ 10 GB de date individual prin apelurile noastre, utilizarea rețelelor sociale, imagini, urme de locație, facturi de cumpărături și multe altele. Acumulând toate acestea pentru fiecare individ care are acces la tehnologie, ne uităm la un miliard de GB de date generate în întreaga lume. Dacă vi se pare suficient de mare, îl putem numi pur și simplu „Big Data”.
Ok, sunt multe date. Și ce dacă?
Cercetătorii și giganții tehnologiei au înțeles importanța acestor date și au început să vâneze oameni care pot manipula , explora și utiliza aceste date . A dat naștere la trei titluri noi și nebunești la cerere, Data Engineer , Data Analyst și , respectiv, Data Scientist .
Data Scientist | Inginer de date | Analist de date | |
| Rol | Curățați, organizați și generați informații din (mari) date | Gestionați, protejați, centralizați și integrați sistemele și sursa de date | Colectați, procesați și efectuați analize statistice asupra datelor |
| Mod de gândire | Creați IA folosind date mari | Proiectați cu ușurință arhitectura de date | Obțineți informații din date |
| Aptitudini | Învățare automată, calcul distribuit și vizualizare a datelor | Depozitare de date, arhitecturi baze de date, locuri de muncă Extras-Transform-Load (ETL) și management de sistem | Comunicare și vizualizare, instrumente pentru foi de calcul și inteligență bazată pe afaceri |
| Instrumente și limbi | Python, R, SQL, Spark, Map-Reduce | Hadoop, Spark, Hive, PIG, SQL | SAS, VBA, R, Excel, Tableau |
| Salariu mediu | 125000 USD | 110000 USD | 90000 USD |
Cool, înțelegem ce fac. Dar de ce hype-ul?
Cine este un Data Scientist, un Data Analyst și un Data Engineer?
Să aruncăm o privire la câteva povești de succes
Xerox: După ce a optat pentru soluția Big Data, compania și-a schimbat abordarea, ceea ce a condus la Xerox să-și reorganizeze paradigma de angajare și să reducă ratele de uzură a personalului de asistență cu 20%, economisind companiei milioane de dolari pe termen lung.
IBM: Achiziționând „The Weather Company” și valorificând datele mari colectate de la peste 100.000 de senzori de monitorizare a vremii, avioane specializate, aplicații în gadgeturi și diverse alte dispozitive, IBM Watson beneficiază de peste 2,2 miliarde de puncte unice de colectare a datelor care permit monitorizarea constantă a vremii. $500,000,000 Pierderile și daunele cauzate de vreme reprezintă aproape 500.000.000 de dolari Paypal: a dezvoltat un sistem automat de detectare a fraudei care analizează miliarde de înregistrări, atingând rata de pierdere de 0,5%.
Tesla: Analizând datele enorme generate de computerele de bord pe fiecare mașină, inginerii pot prezice defecțiuni ale pieselor, potențiale probleme de siguranță și control automat și blocări de urgență.
S-ar putea să credeți că aceștia sunt giganți care își permit miliarde de dolari!
Dar afacerile mici? Merită investiția în Big Data pentru ei?
Există destul de multe soluții gata făcute disponibile pe piață, precum și servicii de la furnizori de cloud precum AWS, Google Cloud sau Azure. Toate acestea fac ca instrumentele de analiză Big Data să fie destul de accesibile. Startup-urile obișnuite de dimensiuni medii beneficiază de aceste servicii, unele companii indiene populare care utilizează servicii cloud sunt Freshdesk, Sigtuple, Paralleldots etc.
Startup-urile transformate în giganți tehnologici precum Google, Facebook, Apple, Microsoft etc. și-au înființat laboratoarele de inteligență artificială doar pentru a avansa în cercetarea privind gestionarea Big Data și a crea minuni din acestea.
Aplicații de date mari care vă înconjoară
De ce sunt profesioniștii în date atât de speciali?
Să ne aprofundăm mai mult în mentalitatea unui profesionist de date, cea mai provocatoare și unică abilitate care separă un mare profesionist de date de alte roluri DSA (Data Science and Analytics) este capacitatea de a utiliza big data. Cu cantități atât de uriașe de date care curg în fiecare secundă, devine greu să procesezi și să extragi informații semnificative din mers.
Profesioniștii de date rezolvă această problemă de date mari utilizând o combinație de algoritmi avansați și tehnologie denumită în mod popular învățarea automată sau învățarea profundă, care se îndreaptă din ce în ce mai mult în viața noastră de zi cu zi.

Asistentul Google, Siri, Alexa, Cortana, Prisma, filtrele Snapchat, locația Facebook, etichetarea feței etc. sunt toate exemple de învățare automată. La baza tuturor acestor tehnologii se află sămânța datelor mari care oferă combustibil și viață pentru învățarea profundă sau inteligența artificială.

Ce face ca Big Data să fie noul petrol
Big Data în enormitatea sa este un ocean vast de oportunități neexploatate. Giganții tehnologiei investesc miliarde de dolari pentru a explora și extrage informațiile vitale ascunse în adâncul acestor date mari. Într-o comparație directă cu o resursă vitală foarte asemănătoare în economia modernă: țițeiul, big data este într-adevăr noul petrol/combustibil pentru viitor.
„ Inteligenta artificiala este noua electricitate”,Spune Andrew Ng (om de știință AI) explicând puterea pe care o aduce inteligența artificială în furnizarea de soluții moderne. El asigură în continuare importanța datelor mari și probabil că își crește valoarea în paralel cu petrolul, făcându-l „noul petrol” al secolului 21.
Momentul adevarului:„Profesioniştii în date văd big data ca pe petrol (pentru valoarea sa) şi dezvoltă expertiză pentru a le extrage, a le procesa şi a le transforma în perspective/soluţii care se adresează nu numai companiilor, ci tuturor!”
Recent, Google Deepmind a procesat milioane de petabytes și a găsit 2 noi exoplanete ascunse ochilor cercetătorilor interstelari . Diverse startup-uri au dezvoltat soluții de imagine care sunt mai bune în detectarea cancerului decât cei mai buni radiologi din lume. Vehiculele autonome devin populare și Google a lansat căști care permit traducerea în direct a oricărei limbi în ceea ce puteți înțelege. Toate aceste descoperiri au fost posibile numai datorită datelor mari .
Roluri și salarii în Big Data în industria financiarăAcum, să răspundem la întrebarea de aur:
Cum te poți transforma într-un profesionist de date?
Pentru a deveni un profesionist de date mai bun, fie că este vorba de un analist, un om de știință de date sau un inginer de date, trebuie să înțelegeți puterea și potențialul datelor mari . Este avantajos pentru un profesionist de date care aspiră să-și murdărească mâinile cu tehnici de date mari. Deși, o înțelegere profundă a algoritmilor de învățare automată este o necesitate!
Simțiți-vă liber să revizuiți următoarele cursuri care vizează în mod precis progresul cunoștințelor în domeniul datelor:
- Program PG în Inginerie Big Data cu BITS Pilani
- Diploma PG în știința datelor cu IIIT-Bangalore
- Diploma PG în învățare automată și inteligență artificială
Am înțeles! Care sunt opțiunile mele?
Familiarizați-vă cu tehnologiile de date mari și familiarizați-vă cu instrumente precum Spark, Hive, Hadoop, YARN, HBase și Map-Reduce. Puteți decide dacă doriți să continuați ca cercetător de date, analist de date sau inginer de date. Veți găsi oportunități nesfârșite și locuri de muncă bine plătite pe tot globul sub conducerea giganților din tehnologie și a altor companii multinaționale care valorifică puterea datelor mari.Datele sunt numite noul ulei. Schimbă sensul analizei și avansează revoluția Inteligenței Artificiale în fiecare zi. Datele alimentează viitorul în timp ce vorbim și urcarea la bordul unui vas cu vele lung este o idee bună.
De ce sunt datele valoroase și importante?
Datele pot fi folosite pentru a accelera operațiunile corporative, pentru a elimina erorile în procesul de producție și în luarea deciziilor, pentru a detecta și reduce riscurile înainte ca acestea să apară și așa mai departe. Ca rezultat, orice industrie poate beneficia de pe urma transformării datelor în valoare. Companiile care plasează datele în centrul operațiunilor lor și le permit să conducă fiecare acțiune, dând putere utilizatorilor și accelerând luarea deciziilor în cadrul organizației, vor fi câștigătorii în viitor. Ele vor deveni mai adaptabile, mai perturbatoare și mai inovatoare. Alții îi vor urma doar pe măsură ce își discernează traseul și își construiesc propriul curs.
Cum sunt cele trei roluri majore de date – inginer de date, analist de date și cercetător de date?
Există o varietate de roluri care sunt responsabile cu colectarea, organizarea și analiza datelor pentru ca o corporație să se ocupe serios de date. Având în vedere amploarea acestui proces, care include totul, de la date brute până la informații acționabile, ar putea exista o concepție greșită cu privire la responsabilitatea fiecărui job de date.
Inginerii de date, analiștii de date și oamenii de știință de date sunt cele trei roluri cheie de date pe care firmele le angajează pentru echipele lor de date. Iată diferențele cheie:
1. Inginer de date - Sarcina unui inginer de date este să descopere cum să colecteze, să organizeze și să păstreze datele, prin urmare, acestea sunt o parte importantă a oricărei echipe de date. Abilitățile solicitate pentru a deveni inginer de date sunt SQL, Python, AWS, Kafka, Hadoop, comunicarea interpersonală, managementul timpului etc.
2. Data Analyst - Un bun analist de date ar avea curiozitatea și capacitatea de a analiza datele din mai multe perspective, curățând și transformând datele pentru a căuta tendințe. Ei ar putea descoperi noi căi pe care să le urmărească organizația, cum ar fi locații în care ar putea fi colectate date suplimentare pentru o cercetare mai aprofundată. Cerințele pentru un analist de date sunt SQL, programare statistică, Microsoft Excel, gândire critică, vizualizarea datelor, prezentarea datelor etc.
3. Oamenii de știință ai datelor – Oamenii de știință ai datelor construiesc algoritmi și modele de predicție pentru a extrage datele de care are nevoie afacerea și ajută la analiza datelor și la împărtășirea constatărilor cu colegii. Abilitățile de bază ale științei datelor sunt analiza statistică, învățarea automată, informatica, programarea, comunicarea și abilitățile soft.


