Un grup de experți în Big Data a realizat o listă a celor mai frecvente greșeli făcute în lansarea unor proiecte de tip Big Data.
În cadrul conferinței Big Data și IoT, Gael Decoudu, șeful departamentului de date și analiză digitală al Shop Direct, a declarat că firma sa a început prin crearea unui „lac” de date impresionant, dar din cauza unei abordări greșite s-a „înecat” repede în propriile date. Ținta inițială a acestuia a fost realizarea unei mari baze de date cu cât mai multe date posibile, în care s-au investit mulți bani, dar care a devenit inutilă după câțiva ani. În acest caz, specialiștii companiei au cooptat o echipă de experți în analiza datelor mari pentru a utiliza corect cantitatea mare de date. Odată cu această cooptare, lucrurile au început să funcționeze, concluzia fiind că este necesară experiența unor profesioniști în big data și analiză, care să știe cum să abordeze cantități mari de date. Astfel, Shop Direct a trecut la open source, în prezent utilizând Amazon Web Services cu limbajul de programare R. Dar ca probleme aduse odată cu open source se evidențiază greutatea de utilizare a unui anumit pachet de lucru pentru cei ce nu au experiență. Există peste 20 de moduri de a face rețele neuronale prin limbajele R și Python, dar nu se știe care este cea mai bună pentru mediul de afaceri, iar o alegere greșită ar putea costa milioane.
Un alt exemplu de greșeală vin din partea companiei de asigurări Complete Cover Group, care după ce a trecut prin coding complex a utilizat limbajul open-source Python. Problema a apărut din cauza numărului redus de platforme bazate pe infrastructura Hadoop, cei din departamentul IT pierzând mult timp scriind algoritmi de rețea neuronală în loc să folosească doar pachetele standard. Deși din punct de vedere tehnic a fost o acțiune impresionantă, aceasta nu a generat nicio valoare companiei. Compania și-a dat seama că nu are rost să își piardă timpul prin scrierea propriilor reguli, când o bogată librărie gratuită este disponibilă de la Python. Experții recomandă companiilor să încurajeze angajații tineri să fie proactivi în munca lor, nu să aștepte să vină momentul când au de lucru, și să lucreze pentru dezvoltarea unor rețele neuronale eficiente, fără a se complica cu construcții care ocupă timp și în final nu își demonstrează eficiența.
