Soluțiile Data WareHouse(DWH) au apărut din necesitatea oamenilor de business de a avea rapoarte de activitate și pentru analiza datelor. O soluție DWH preia datele brute din diversele baze de date ale unei companii, le prelucrează și apoi le stochează sub o nouă formă, mai apropiată de necesitățile oamenilor de business.
Viteza și flexibilitatea în realizarea de rapoarte și analize
Cerințele de rapiditate și flexibilitate în analiză și raportare au crescut în ultimii ani, mai ales pentru
că oamenii de business s-au familiarizat cu unele tehnologii și acum știu că se poate și cer soluții IT de acest fel.
Nu e mereu ușor, dar avem o experiență de peste 16 ani în lucrul cu bazele de date, cu analize și rapoarte. Ca partener al Qlik, unul din liderii industriei de BI și pionier în analiza asociativă in-memory, dezvoltăm soluții vizuale, interactive și flexibile pentru analiză și raportare în companii din diverse industrii. Însă au fost companii în care ni s-a cerut o implicare și mai detaliată în abordarea unei soluții de Business Intelligence, pornind de la managementul datelor. Pregătirea datelor într-un DWH e deseori de lungă durată, însă noi ne-am dorit ceva simplu, eficient, dar și suficient de flexibil, așa încât să se poată adapta din mers la cerințele de business. Așa am ajuns să dezvoltăm două produse: RLV DWH Framework Classic și RLV DWH Framework Express.
Relevance DWH Framework Clasic, a fost gândit pentru a accelera implementarea unei soluții Data Warehouse pentru platformele bazate pe tehnologia Microsoft SQL.
Principala abilitate integrată în produs este aceea că poate extrage automat datele din surse multiple și chiar le poate aduce incremental, dacă sursele de date permit acest lucru. O altă funcționalitate importantă este aceea că soluția RLV DWH aplică modificări foarte rapid asupra tuturor datelor care au nevoie de actualizare ca urmare a unei modificării în oricare dintre sursele de date.Toate aceste operații se fac sub comanda conceptului modern de metadata. Adică eu, ca și utilizator, nu scriu cod, ci doar informații și descrieri. Astfel, pentru adăugarea unei surse de date sau o prelucrare nouă de date este nevoie doar de introducerea informației metadata corespunzătoare. Iar prelucrările de date ajung până la calculul tabelelor finale necesare raportării.
Pentru cei care au nevoie de analize și rapoarte aproape în timp real, am gândit un alt produs: Relevance DWH Framework Express. Acesta suportă aduceri de date din surse multiple la intervale foarte mici de timp, de obicei de ordinul secundelor. Modificările surselor de date sunt aplicate apoi pe toate tabelele finale. Și, din nou, tot, acest proces este orchestrat de informații metadata.
Scopul acestui produs este ca raportul actualizat să poata ajunge cât mai repede la cei care pot să acționeze pe baza acelor date calculate și să poată lua decizii cât mai repede. În acest mod, transformăm datele primare în date finale, în timpi record în cursul aceleași zile.
Optimizare pe întregul flux de business
Noi credem că pe baza unor informații calculate bine și la timp, oamenii potriviți la locul potrivit pot să vadă ce merge și ce poate fi îmbunătățit în cadrul fluxului de business. Implementarea unei platforme DWH e ocazia potrivită pentru o revizuire a relațiilor dintre diversele departamente, a proceselor interne și a regulilor care guvernează afacerea pentru că această platformă va deveni punctul central de unde se vor livra informații valoroase către toți utilizatorii din organizație.
Și încă o dată, accentuez ideea că un sistem informatic ia în calcul, de regulă, elementele măsurabile, restul lucrurilor, cum ar fi evenimentele neașteptate externe, calitative, rămânând la dispoziția oamenilor care pot lua decizii cântărind cu atenție și responsabilitate factorii măsurabili și cei nemăsurabili.
Relevance DWH Framework Clasic, a fost gândit pentru a accelera implementarea unei soluții Data Warehouse pentru platformele bazate pe tehnologia Microsoft SQL.
Zonele beneficiare ale implementării unei platforme Data Warehouse
În general, ținta unui DWH este de a oferi informații către întreaga organizație, așadar nu putem spune că ar fi unele zone favorizate de implementarea DWH. Însă, da, impactul poate fi diferit de la un departament la altul. Și aici vor fi avantajați cei care aveau nevoie de informații din diverse zone ale business-ului și nu aveau acces facil la acestea. Pe de altă parte, implementarea DWH durează cu atât mai puțin cu cât companiile știu mai clar ce anume își doresc să obțină. Și astfel ajungem din nou la oameni. Planificarea proiectului și alocarea resurselor necesare, atât de partea clientului și din partea noastră este primul factor de reușită.
Diferențele comparativ cu BigQuery, serviciul integrat în platforma Google Cloud
BigQuery este un sistem de stocare masivă de date cu o interogare rapidă pe acel volum mare de date. DWH pentru noi înseamnă mai mult decât un sistem care să răspundă rapid. Înseamnă o
sincronizare a mai multor surse de date, verificarea și validarea datelor și, în sfârșit, pregătirea datelor pentru rapoarte. Abia ultimul nivel, acela de furnizare a datelor ar putea fi obiectul BigQuery.
Dacă discutăm de timpul de răspuns la interogarea datelor, atunci e de menționat că acesta depinde de sistemul ales pentru stocarea datelor. Și există soluții atât SQL, cât și noSQL, care să răspundă cu succes timpului de răspuns necesar.
Pentru companiile care vor să urce datele în cloud și apoi să le acceseze, BigQuery sigur este o soluție care poate fi luată în calcul împreună cu alte platforme Microsoft Azure sau Amazon Redshift.
Dacă și restul sistemelor companiei (ERP, CRM etc) sunt în cloud, atunci da, o solutie DWH în cloud este de preferat.
Relevance DWH Framework presupune nu doar stocarea de date și un răspuns rapid la interogări, ci și aducerea datelor din fiecare sursă în parte, îmbogățiri și prelucrări de date, verificări de procese, etc.
Studii de caz relevante de implementări DWH
Danone este unul dintre ele, un proiect complex. Provocarea a fost schimbarea completă a sistemului de suport decizional prin uniformizarea sistemelor de lucru în zona de analiză și raportare în România și Bulgaria la nivel de grup, în paralel cu implementarea unei noi soluții SAP, care să permită conducerea eficientă și în timp real a afacerilor din toate țările regiunii. Soluția implementată a fost un DWH construit cu Microsoft SQL, împreună cu o soluție de analiză și raportare dezvoltată pe platforma Qlik.
de Valentin Barbu, Managing Partner, Relecance Management
