Data Management este procesul de achiziționare, validare, stocare, organizare, întreținere și protejare a datelor create și colectate de o organizație. Prin acest proces, sunt asigurate accesibilitatea, fiabilitatea și actualitatea datelor în așa fel încît sunt satisfăcute nevoile utilizatorilor. Gestionarea eficientă a datelor este o parte crucială a implementării sistemelor IT care rulează aplicații de business și care oferă informații utilizate la luarea deciziilor operaționale și a planificării strategice. Este, de asemena, baza oricărui proces de analiză predictivă, indiferent de domeniul la care ne referim.
Procesul de management al datelor include o combinație de funcții care vizează în mod colectiv asigurarea faptului că datele din sistemele organizației sunt corecte, disponibile și mai ales accesibile atunci cînd e nevoie de ele. Aici ne referim literalmente la orice organizație care utilizează date, fie ca e vorba de o companie (în ultima perioadă nevoia utilizării masive de date a inceput să nu mai fie legată de mărimea organizației) sau de o entitate publică centrală sau locală. Lipsa unei gestionări adecvate a datelor duce, mai devrem sau mai tîrziu la “silozuri” de date incompatibile și/sau inconsistente, la probleme de calitate a datelor, factori care limitează capacitatea de analiză a organizațiilot sau, în cazuri extreme, la luarea unor decizii defectuoase.
Cu cât volumul de date necesar luării unei decizii este mai mare, mai complex și este generat cu viteză mai mare (volume, variety, velocity) cu atît importanța și impactul procesului de data management este mai mare. De aceea, el este unul din factorii fundamentali luați în considerare de către orice proiect care include o componentă de IoT. Indiferent că vorbim de un mediu industrial (ex. eficientizarea consumului de energie a capacităților de producție), de unul logistic (ex. optimizarea transportului mărfurilor perisabile) sau de unul legat de urbanistică (ex. minimizarea poluării generate de trafic), o bună definire a datelor necesare și un proces atent de gestionare a lor poate face diferența între succes și eșec.
Datele sînt considerate din ce în ce mai mult ca fiind un activ al organizației (Gartner – Applied Infonomics) care poate fi utilizat pentru a îmbunătății deciziile, pentru a optimiza operațiunile și pentru a reduce costurile, de aceea calitatea datelor și disponibilitatea lor au devenit un factor cheie. Necesitatea datelor utilizabile este motivul fundamental pentru care valoarea de business a proiectelor de IoT a crescut masiv în ultimii ani. In același timp, lipsa unui management atent al datelor a fost un factor major în eșuarea proiectelor de IoT începute în anii precedenți.
Există companii care, deși sînt foarte bune la colectarea datelor, nu le gestionează suficient de bine pentru a le da sens în procesele operaționale. Cu toate că este un pas extrem de important (nu poți analiza datele pe care nu le ai), simpla colectare a datelor nu este suficientă; organizațiile trebuie să pună la punct încă de la început un plan care pornește de la analiza problemei ce se vrea rezolvată și continuă cu definirea datelor necesare rezolvării problemei în cauză, colectarea, procesarea și analiza acestora. Doar în acest fel rezultatele procesului vor avea valoare pentru organizație.
Cel mai bun mod de definire a gestiunii datelor este conectarea acestui proces la nevoile de business ale organizației, pentru a fi siguri că, în cele din urmă, vom obține informațiile necesare pentru a lua decizii mai bune. Deși este considerată o buna practică de foarte multă vreme (vezi CRISP-DM), încă vedem proiecte de IoT care neglijează acestă abordare structurată, iar rezultatele lor se lasă așteptate, în ciuda bugetelor mari cheltuite. Fiecare etapă inclusă în procesul de gestionare a datelor trebuie să conducă la colectarea și analizarea datelor corecte, necesare pentru a obține informațiile utilizate pentru a lua decizii legate de problema de business în cauză. O modalitate de a evita capcana colectării datelor fără semnificație este de a integra procesul ca un set de cerințe în definirea arhitecturii, platfoma IoT căpătînd contur pe măsură ce sînt definite datele împreună cu modul lor de colectare, analiză și prezentare.
Pentru a da valoare cantităților mari de date pe care organizațiile le colectează și analizează, companiile apelează la platforme de gestionare a datelor. Acestea fac procesarea, validarea și utilizarea datelor, împreună cu alte funcții esențiale, mai simple și mai puțin consumatoare de timp, permițînd companiilor să folosească avantajele prelucrărilor Big Data din multiple sursele, aproape în timp real.
Pentru a implementa o astfel de soluție, definirea unei arhitecturi de date este primul pas, în special în organizațiile care au nevoie de date multe și variate. Arhitectura de date oferă un plan pentru bazele de date și pentru platformele de prelucrare de date care trebuie implementate. Procesul de Data Management poate fi împărțit în mai multe sub-procese separate care fac parte integrantă din procesul general și care acoperă întreaga zonă, de la colectarea, procesarea și stocarea datelor pînă la partea de guvernanță, ce definește modul în care datele sunt utilizate în sistemele operaționale. Într-o platformă de data management fiecare din acestea se implementează în una sau mai multe aplicații care contribuie împreună la efectuarea setului de oprațiuni necesar. Definite pornind de la o problemă de business (descrisă în termenii unei arhitecturi de business) și apoi puse împreună, arhitecturile de date și aplicații ajută la definirea arhitecturii tehnologice, definid astfel complet sistemul.
Soluția rezultată în urma acestei abordări, în care blocuri funcționale generice sunt treptat definite și personalizate pentru a fi transformate conform cerințelor specifice proiectului, are cele mai mari șanse de succes. De aceea Allied Telesis propune o platformă IoT care pornește de la un model arhitectural generic standard (ITU-T Y.2060) și care este personalizată treptat conform cerințelor proiectului. Arhitectural, propunerea Allied Telesis pentru platforma IoT este descrisă în figura de mai jos, unde putem identifica principalele blocuri componente:
La baza arhitecturii Edge stau blocurile responsabile pentru conectarea surselor de date ce pot prelua date operaționale de la orice senzor, fie prin conecare directă, fie prin intermediul unui gateway adaptat interfețelor și semnalelor senzorului. De asemeni, integrată in gateway sau direct într-un echipament de comunicație, găsim aici o funcționațitate de Edge Computing care are funcții multiple, de la pregatirea datelor operaționale citite de instrumente, până la executarea rapidă a unor decizii bazate pe datele culese local.
La nivel central (de obicei implementat ca arhitectură distribuită pentru redundanță și suport de Business Continuance) avem partea de baze de date (SQL și NoSQL) ce reprezintă suportul pentru construirea de Data Warehouse/Data Lake unde datele sunt stocate pentru analiză. Tot aici sunt implementate funcționalitățile de procesare de date (stream sau batch), ale cărui rezultat poate fi vizualizat sau trimis mai departe către alte funcții de procesare. Tot aici vorbim despre modulul de interfațare cu cu alte sisteme de baze de date, permițând importul și exportul rapid, demontând “silozurile” care se formează de obicei în jurul aplicațiilor specifice. Scopul este acela de a oferi accesibilitate pentru procesare către toate datele deținute de organizație.
Între cele două niveluri stă partea de comunicații care permite transferul rapid și sigur al datelor citite de instrumente către zona de stocare și procesare. Căile de comunicație pot fi controlate de asemenea centralizat, prin stabilirea atât a căilor propriu-zise de transmitere de date, cât și a calitații asociate a serviciului de comunicație sau a regulilor de securitate. Implementarea de tip SDN la acest nivel acordă modulului de comunicație un grad de flexibilitate similar cu al celorlalte module componente alte platformei de IoT, permițind modelarea precisă a acesteia în jurul nevoilor specifice proiectului.
Arhitectura IoT a fost dezvoltată urmând cele mai bune practici de management a datelor, incluzând aici simplificarea accesului la date, dar fără compromiterea securității lor, folosirea unor tehnici flexibile de manipulare a datelor, utilizate atât în pasul de integrare și pregătire a datelor pentru etapa de analiză (ETL/ELT), cât și la analiza propriu-zisă precum și prezentarea datelor (primare sau procesate) către alte suite de analiză de business pentru a face rezultatele folosibile în creșterea calității și eficienței proceselor.
Un astfel de model arhitectural duce la soluții pe care organizațiile le pot utiliza pentru a colecta, procesa și stoca informațiile aferente proiectelor, pentru a le putea apoi prelucra și vizualiza în moduri specifice cerințelor. Astfel, platforma permite gestionarea tuturor datelor, obținute din toate sursele disponibile răspîndite pe o arie largă, într-una sau mai multe locații centralizate, fie că acestea se află sub completul control al beneficiarului, sau că sunt implementate prin intermediul unor servicii de cloud
Pentru partea de implementare, serviciile profesionale Allied Telesis pot ajuta la etapa de modelare a datelor, la integrarea datelor provenind din surse multiple sau la definirea principiilor de guvernanță (ajutând la stabilirea de politici și proceduri folosite pentru a fi siguri că datele sunt coerente pentru utilizatori din întreaga organizație), sau de management al calității datelor (cu scopul remedierii erorilor și inconsistențelor detectate).
de Călin Poenaru, Country Manager – Allied Telesis Romania
