Datu integrācija ietver datu apvienošanu, kas ir dažādos avotos vai vienā avotā (dažādi datu formāti), un nodrošina lietotājiem vienotu skatījumu uz tiem.

2

Daudzbāzu sistēmas un datu integrēšana

Vairāku informācijas sistēmu integrācija realizē dažādu vajadzīgo sistēmu apvienošanu, lai lietotājiem veidotos priekšstats, ka tie strādā ar vienu sistēmu1. Lietotājiem tiek sniegts viendabīgs loģisks skatījums uz datiem, kas ir fiziski izplatīti pa neviendabīgiem datu avotiem. Šim nolūkam visiem datiem jābūt pārstāvētiem, izmantojot vienotus abstrakcijas principus (vienots globāls datu modelis un vienota semantika). Kopumā informācijas sistēmas netiek izstrādātas integrācijai. Tādējādi, ja ir vajadzīga integrēta piekļuve dažādām avotu sistēmām, avoti un to dati, ir jāapvieno izmantojot papildus pielāgošanas un saskaņošanas funkcionalitāti.

Nav viena integrēšanas problēma. Katrā gadījumā avotu struktūra, realizācijas variants un semantika var būt atšķirīga. Integrēšanas uzdevums ir atkarīgs no:1) informācijas sistēmas arhitektūras;2) komponentu sistēmu satura un funkcionalitātes; 3) informācijas veids komponentu sistēmās (burtu - ciparu dati; multivides dati; strukturēti, daļēji strukturēti, nestrukturēti dati);4) prasībām attiecībā uz komponentu sistēmu autonomiju; 5) paredzētās integrētās informācijas sistēmas izmantošanas (tikai lasīšana vai arī rakstīšanas piekļuve);6) veiktspējas prasībām;7) pieejamiem resursiem (laiks, nauda, cilvēkresursi, zinātība utt.)Jāņem vērā arī avotu heterogenitāte. Tas iekļauj atšķirības:1) aparatūrā un operētājsistēmās;2) datu vadības programmatūrā; 3) datu modeļos;4) shēmas un datu semantikā;5) starpprogrammatūrā;6) lietotāju interfeisā;7) biznesa likumos un datu integritātes noteikumos.

1 Patrick Ziegler and Klaus R. Dittrich. Data Integration - Problems, Approaches, and Perspectives. Database Technology Research Group Department of Informatics, University of Zurich.

Datu integrēšana

Datu integrēšana vienā datu avotā (relāciju,

objektu, relāciju – objektu un XML dati)

Datu integrēšana vairāku datu avotu gadījumā

(homogēni un heterogēni datu avoti)

3

Integrēšanas pieejas

Manuālā integrācija. Lietotāji tieši mijiedarbojas ar visām attiecīgajām informācijas sistēmām un manuāli integrē atlasītos datus. Tas ir, lietotājiem ir jānodarbojas ar dažādiem lietotāju interfeisiem un vaicājuma valodām. Turklāt lietotājiem ir jābūt detalizētām zināšanām par atrašanās vietu, loģisko datu attēlojumu un datu semantiku.Publiska lietotāja interfeiss. Lietotājs tiek nodrošināts ar kopēju lietotāja interfeisu (piemēram, tīmekļa pārlūkprogrammu), kas realizē vienotas darbības un uztveri (piemēram, meklētājprogrammās).Integrācija ar lietojumprogrammām. Šī pieeja izmanto integrācijas lietojumprogrammas, kas piekļūst dažādiem datu avotiem un atgriež lietotājam integrētus rezultātus. Šis risinājums ir praktisks nelielam skaitam sistēmas komponentu. Tomēr lietojumprogrammas kļūst arvien lielākas, kad sistēmas interfeisu un datu formātu skaits aug.Integrācija ar starpprogrammatūru. Starpprogrammatūra nodrošina atkārtotu lietojamu funkcionalitāti, kas tiek izmantota, lai atrisinātu īpašus integrācijas problēmas aspektus, piemēram, SQL - starpprogrammatūra. Vienota piekļuve datiem. Datu piekļuves līmenī tiek panākta loģiska datu integrācija. Globālās lietojumprogrammās tiek nodrošināts vienots skatījumu uz fiziski izplatītiem datiem, lai gan šajā līmenī ir pieejami tikai virtuālie dati. Vietējās informācijas sistēmas saglabā savu autonomiju un var atbalstīt papildu datu piekļuves slāņus citām lietojumprogrammām. Tomēr fiziski integrētu datu globālais nodrošinājums var būt laikietilpīgsKopējā datu krātuve. Fizisko datu integrāciju veic, pārsūtot datus uz jaunu datu krātuvi. Lokālos avotus var vai nu atmest, vai arī turpināt izmantot.

4

Integrācijas risinājumi

Praksē tiek īstenoti konkrēti integrācijas risinājumi, pamatojoties uz sešām vispārējām integrācijas pieejām. Svarīgākie piemēri ir:1) mediētas vaicājumu sistēmas ir vienots datu piekļuves risinājums, sniedzot vienotu skatu tikai lasāmiem vaicājumiem par piekļuvi dažādiem datu avotiem. Mediators, kas satur globālo vaicājuma procesoru, ir nodarbināts, lai nosūtītu apakšvaicājumus vietējiem datu avotiem. Pēc tam tiek apvienoti atgrieztie lokālie vaicājuma rezultāti. 2) portāli kā cita veida vienota datu piekļuve ir personalizētas durvis internetam vai iekštīklam, kur katrs lietotājs tiek nodrošināts ar vēlamo informāciju. 3) datu noliktavas realizē kopēju datu krātuves pieeju integrācijai. Datu noliktavā tiek eksportēti, pārveidoti un ielādēti, no vairākiem darbības avotiem (tiešsaistes transakciju apstrādes sistēmām, OLTP). Pēc tam analīzi, piemēram, tiešsaistes analītisko apstrādi (OLAP), var veikt ar integrētu un apkopotu datu kubiem.4) operatīvo datu krātuves ir otrs piemērs kopējai datu krātuvei. Šeit ir izveidota “noliktava ar svaigiem datiem”. Tādējādi lēmumu atbalstam ir pieejami atjaunināti integrēti dati. Atšķirībā no datu noliktavām dati nav nedz iztīrīti, nedz apkopoti, nedz arī tiek atbalstīti datu vēsturē.5) federatīvās datu bāzes sistēmas (FDBMS) panāk vienotu datu piekļuves risinājumu, loģiski integrējot datus no vietējiem DBMS. Federatīvās datu bāzes sistēmas ir pilnībā patstāvīgas DBVS. Tās īsteno savu datu modeli, atbalsta globālos vaicājumus, globālos darījumus un globālo piekļuves kontroli. Parasti FDBMS veidošanai tiek izmantota piecu līmeņu arhitektūra.6) darba plūsmas vadības sistēmas (WFMS) ļauj īstenot uzņēmējdarbības procesus, kad katru vienu soli izpilda dažādas lietojumprogrammas vai lietotāji. Parasti WFMS atbalsta procesu modelēšanu, izpildi un uzturēšanu, ko veido mijiedarbība starp lietojumprogrammām un lietotājiem. WFMS pārstāv integrētu pieeju.7) tīmekļa pakalpojumu (web services) integrācija veic integrāciju, izmantojot programmatūras komponentus (t. i., tīmekļa pakalpojumus), kas atbalsta datortehnikas mijiedarbību tīklā, izmantojot interneta protokolos pārraidītos XML ziņojumus. 8) modeļu vadība ievieš augsta līmeņa operācijas starp modeļiem (piemēram, datu bāzes shēmām, UML modeļiem un programmatūras konfigurācijām) un modeļu attēlojumiem. Šādas darbības ietver atbilstību, sapludināšanu, atlasi un kompozīciju. Izmantojot shēmas algebru, kas aptver visas šīs darbības, ir paredzēts samazināt ar roku saistītu kodu, kas nepieciešams modeļu un kartējumu pārveidei, as nepieciešams shēmas integrācijai. Modeļu vadība ietilpst manuālās integrācijas kategorijā.9) vienādranga (peer to peer (P2P)) integrācija ir decentralizēta pieeja integrētai, autonomai vienaudžu integrācijai, ja datus var savstarpēji koplietot un integrēt, izmantojot attēlojumus starp vietējām vienaudžu shēmām. P2P integrācija ir atkarīga no nodrošinātās integrācijas funkcionalitātes vai nu vienota datu piekļuves pieeja, vai datu piekļuves saskarne turpmākai rokasgrāmatai vai uz lietojumprogrammu balstītai integrācijai.10) režģa (grid) datu integrācija nodrošina pamatu hipotēzes testēšanai un modeļa noteikšanai lielā apjomā datu tīkla vidē, t. i., savstarpēji saistītos skaitļošanas resursos,

5

kas tiek izmantoti lieljaudas skaitļošanai. Šeit bieži vien neprognozējamas un ļoti dinamiskas datu summas ir jārisina, lai nodrošinātu integrētu skatu uz lieliem datu komplektiem. Tīkla datu integrācija ir integrācija, izmantojot starpprogrammatūras pieeju.11) personas datu integrācijas sistēmas ir īpašs rokasgrāmatas integrācijas veids. Šeit integrētus skatus deklarē (piemēram, ar deklaratīvu integrācijas valodu) vai nu paši lietotāji, vai arī izdalītie integrācijas inženieri. Katrs integrētais skats precīzi atbilst informācijas vajadzībām.12) sadarbības integrācija (collaborative integration), cita īpaša rokasgrāmatas integrācijas forma. Ir balstīta uz ideju izmantot datu integrācijas sistēmu. Šeit tiek parādīti sākotnējie daļējie shēmas attēlojumi lietotājiem, kas atbild uz jautājumiem saistībā ar attēlojumiem. Šīs atbildes tiek ņemtas, lai bagātinātu attēlošanu un paplašinātu sistēmas iespējas. 13) datu telpas (dataspace) sistēmās visu datu (t.i., gan strukturētu, gan nestrukturētu) līdzāspastāvēšana tiek saglabāta, nevis tiek veikta pilnīga integrācija. Sistēma tiek izmantota, lai nodrošinātu vienu un to pašu pamatfunkcionalitāti, piemēram, meklēšanas iespējas, no visiem datu avotiem neatkarīgi no to integrācijas pakāpes. Tikai tad, ja ir nepieciešami izsmalcinātāki pakalpojumi, piemēram, relāciju stila vaicājumi, tiek veiktas papildus pūles, lai ciešāk integrētu nepieciešamos datu avotus.

6

Integrācijas pieeju un tehnoloģiju attīstība

7

Galvenās pieejas datu integrēšanai

1. Datu bāžu apvienošanas pieeja.

2. Datu noliktavu pieeja (datu centralizācija).

3. Uz skatiem bāzēta pieeja (globālās shēmas izmantošana).

8

Datu bāžu apvienošanas pieeja Datu bāzes apvienošanas pieeja (federated databases) nodrošina iespēju apvienot vairākus datu avotus vienā sistēmā. Visas sistēmas tiek apvienotas vienā, lai rezultātā tā strādātu kā vienota vienība.

Katra sistēmas vienība ir neatkarīga daļa kopējā arhitektūrā, tas nozīmē, ka šīm sistēmām ir sava funkcionalitāte, tehniskais nodrošinājums, kā arī savs dzīves cikls.

Katram no datu avotu pāriem tiek izveidota transformācijas un attēlošanas funkcionalitāte, kā rezultātā katra sistēmas vienība tiek sasaistīta ar visiem datu avotiem kopējā virtuālajā datu bāzē. Tas dod iespēju veikt elastīgākas datu meklēšanas, jo savā starpā komunicē tikai iesaistītās vienības, savukārt pārējās vienības ir gaidīšanas režīmā.

Viena no problēmām virtuālajām datu bāzēm ir tā, ka, ja attiecīgie datu avoti savā dzīves ciklā ir ļoti elastīgi un dinamiski, ir nepieciešams veikt jaunas attēlošanas un jaunas datu transformācijas, patstāvīgi notiek datu avotu pielāgošanas procesi.

Šādu arhitektūru var uzturēt tikai vidējas un lielas organizācijas, jo katra vienība kopējā arhitektūrā strādā pati par sevi.

9

Datu noliktavu pieeja (datu centralizācija)Populārākā datu integrēšanās metode ir datu noliktavas pieeja. Tā apvieno datus no dažādiem avotiem, kuri pēcāk tiek analizēti un no tiem tiek veidotas datu atskaites. Visi šie dati no datu avotiem tiek nokopēti un saglabāti datu noliktavā, kā rezultātā oriģinālie datu avoti netiek ietekmēti.

Datu avotu apzināšana - šajā procesuālajā solī tiek noteikts, kādi avoti tiks izmantoti, pieintegrēti klāt esošajai sistēmai. Datu avotu integrācijas solī tiek veikta datu apstrāde pēc definētas loģikas, veikta to atbilstības analīze, kā arī ielāde datu noliktavā. Šo procesu sauc par: Iegūt – Pārveidot – Ielādēt (Extract, Transform, Load (ETL)).

Kā viena no datu noliktavu sistēmu problēmām tiek uzskatīta datu sinhronizācija starp avotu un noliktavu. Mūsdienās pastāv divas pieejas, kas nodrošina šo procesu:1) pilnīgas pārbūves laikā dati no datu avotiem tiek apstrādāti saskaņā ar ETL shēmu. Šis process var notikt ar iepriekšdefinētu frekvenci – katru stundu, nakti vai nedēļu. Šis process ir relatīvi vienkāršs savā izpildījumā, jo vienmēr tiek apstrādātas visas iesaistītās datu vienības. Savukārt viens no lielākajiem trūkumiem šim procesam ir tas, ka tas ir lēns, resursu prasošs, kā arī attiecīgie procesi laika momentā var zaudēt savu aktualitāti.2) inkrementālas atjaunošanas laikā dati tiek periodiski atjaunoti, kur par atskaites punktu tiek uzskatītas izmaiņas konkrētā datu avotā pēc laika komponentes. Šī pieeja garantē to, ka tā ir resursu taupīgāka, jo tiek apstrādātas mazāk datu vienības. Šo pieeju izmanto vidēja un liela izmēra organizācijas, jo ir augsta biznesa nepieciešamība pēc uzticamiem datu analīžu rezultātiem.

10

Uz skatiem bāzēta pieeja (globālās shēmas izmantošana, multibāze)Uz skatiem bāzēta datu integrācija ir ietvars integrē datu avotus apvienotā skatā. Šajā datu integrācijā tiek lietota tāda attēlošana metode, kas ļauj noteikt atkarības, kā katrs datu avots var tikt sasaistīts ar apvienoto datu skatu.

Dati netiek glabāti šīs pieejas ietvara realizācijā, kas nozīmē to, ka skatos ir noteikti visi apstrādes algoritmi, lai šo pieeju padarītu daudz elastīgāku pret patstāvīgajām datu izmaiņām. Šīs pieejas laikā, no kādas lietojumprogrammatūras tiek nodots vaicājums attiecīgajai sistēmai. Datu kartēšanai nodotais vaicājums tiek sasaistīts ar citiem vaicājumiem, kur šie vaicājumi un to grupas tiek nodotas datu avota apstrādes sistēmai, kur attiecīgi vaicājumi tiek novērtēti datu avota sistēmā, bet pēc tam notiek rezultātu atgriešana.

11

Uz skatiem balstītajā pieejā tiek izdalīti trīs veidi – “globāls kā skats” (GAV – Global as View), “lokāls kā skats” (LAV – Local as View) un “globāls un lokāls kā skats” (GLAV – Global Local as View). Šie tipi apraksta skatus, integrācijas metodes, realizācijas, kā arī to, kurā pusē būs datu integrācijas ieviešana.

Uz skatiem balstītās pieejas veidi:1) globāls skats – apstrādes loģika, attēlošana un transformācijas notiek globālā līmenī, tas ir paredzēts visiem datu avotiem; 2) lokāls skats – katram datu avotam ir sava attēlošanas, apstrādes un transformācijas loģika. Tā ir saistīta ar globālo skatu, no kura gala lietotāji, lietojumprogrammatūra izgūst lietojamos datus;3) globāls un lokāls skats – tas ir abu iepriekšminēto tipu apvienojums. Lokāli tiek veidota apstrādes loģika katram datu avotam, globāli – datu apstrāde tiek veikta pilnīgi viesiem datu avotiem.

Minētās pieejas kopas lietošana nodrošina ērtu un elastīgu veidu, kā pārvaldīt un apstrādāt vairākus datu avotus priekšmetiskajā vidē. Šī pieeja dod iespēju pēc noteiktiem kritērijiem/ saskarnēm izgūt datus no dažādiem avotiem. Tas nozīmē, ka datu avoti mainās, bet saskarnes nē. Dati tiek izgūti no vairākām sistēmām, bet nav iespējams pārliecināties, vai tie ir pareizi pēc savas loģiskās nozīmes. Šādu pieeju izmanto, lai ātri pievienotu avotus no datu avota repozitorija un izgūtu tos.

12

Daudzbāzu sistēmu tipi

1. Izkliedētās jeb sadalītās datu bāzes (distributed databases) ir homogēnu vai heterogēnu, sasaistītu (loģiski un fiziski) lokālu datu bāzes sistēmu kopa, kurā ir nodrošināta vienota globāla datu apstrāde. Lokālajām datu bāzes sistēmām ir vienots datu modelis un datu apstrādes valoda.2. Multibāzes (multibases) integrē heterogēnas mantotas (iepriekš eksistējošas) datu bāzes sistēmas ar dažādiem modeļiem un datu apstrādes valodām. Multibāzē tiek izveidota datu globālā shēma, kura norāda, kur kādi dati kādos formātos glabājas. Globālās shēma var tikt izveidota datoru tīkla vienā vietā vai tikt sadalīta pa vairākiem tīkla mezgliem, globālā shēma bieži arī tiek dublēta drošuma dēļ. Dažreiz globālā shēma tiek ģenerēta dinamiski, izmantojot globālās datu apstrādes valodas (global access languages).3. Interoperablās (interoperable) sistēmas nodrošina datu apmaiņu starp heterogēnām lokālām datu bāzes sistēmām, bet nenodrošina informāciju, kas kur glabājas. Globālā shēma netiek veidota.

13

Daudzbāzu sistēmu klasifikācijaIr izveidotas vairākas daudzbāzu sistēmu klasifikācijas. Viena no biežāk lietotajām ir M. W. Bright, A. R. Hurson un Simin H. Packzad daudzbāzu sistēmu klasifikācija.

Nosaukums Lokālas DB globālais interfeiss

Lokālā mezgla tips

Pilnā globālā funkcionali-

tāte

Globālās integrācijas

metodeSadalīta daudzbāzu sistēma

Lokālas DBVS funkcijas

Homogēnas datu bāzes

Ir Globālā shēma

Daudzbāzu sistēma ar globālo shēmu

DBVS lietotāja interfeiss

Heterogēnas datu bāzes

Ir Globālā shēma

Federāciju daudzbāzu sistēma

DBVS lietotāja interfeiss

Heterogēnas datu bāzes

Ir Daļēja globālā apakšshēma

Heterogēnas sistēmas ar vienādām pieejas valodām

DBVS lietotāja interfeiss

Homogēnas datu bāzes

Ir Pieejas valodas funkcija

Homogēnas sistēmas ar vienādām pieejas valodām

DBVS lietotāja interfeiss, papildināts ar dažām DBVS iekšējām funkcijām

Homogēnas datu bāzes

Ir Pieejas valodas funkcija

Interoperablā sistēma

Ārējais lietojums

Jebkurš datu avots, kurš atbalsta attiecīgu datu protokolu

Nav Nav globālas integrācijas

14

Daudzbāzu sistēmu klasifikācijas koks

Daudzbāzu sistēmas

Ar globālo shēmu Bez globālās shēmas (Interoperablās sistēmas)

Ar centralizētu globālo shēmu

Ar decentralizētu globālo shēmu

Ar daļējām globālajām shēmām

(federāciju sistēmas)

Ar homogēniem mezgliem (sadalītas sistēmas)

Ar pieejas valoduAr globālo shēmu

Ar heterogēniem

mezgliem

Ar homogēniem

mezgliem

Ar heterogēniem

mezgliem

15

Globālās shēmas pieeja

Globālās shēmas integrācijas pieejas pamatā ir datu dalīšanas nodrošināšana caur globālo shēmu. Globālā shēma nepieciešama globālo vaicājumu izpildīšanai.

Galvenās priekšrocības1) ļauj izpildīt vaicājumus, kas skar daudzas datubāzes;2) tiek nodrošināta caurspīdīga pieeja mērķa shēmām.

Galvenie trūkumi un grūtības1) nevar pielietot automātisko translāciju shēmas labošanā (update) un integrācijā (izmaiņās komponentshēmās var izraisīt nepieņemamas izmaiņas globālajā shēmā un otrādi);2) nepieciešamība saprast un interpretēt, ko dažādas entītijas nozīmē, un kaut kādā veidā translēt to no vienas shēmas uz citu;3) nepieciešamība uzturēt globālās shēmas komponentshēmu biežas evolucionēšanas dēļ.Vienas centralizētas shēmas dēļ lēmumu pieņemšana ir centralizēta, līdz ar to pastāv vājas vietas ātrdarbībā.

16

Apvienošanas federācijā pieeja

Apvienošanas federācijā pieeja lielākā mērā, nekā globālās shēmas integrācijas pieeja, atbalsta individuālo datu bāzu sistēmu autonomiju. Informācijas dalīšana tiek veikta ar shēmu importēšanu un eksportēšanu. Importējošai datu bāzei jebkuru integrāciju jāveic lokāli. Visas datu bāzes un tām pieejamas shēmas daļas reģistrētas federālajā vārdnīcā.

Informācijas meklēšanaInformācijas meklēšana notiek šādā veidā:1) vaicājoša datu bāze meklē federālajā vārdnīcā eksistējošas datu bāzes un pieejamas shēmas;2) vaicājoša datu bāze importē visas zināmas shēmas un meklē tajās pieprasītas informācijas tipu;3) kad tas ir paveikts, tiek uzsāktas pārrunas ar eksportējošu datu bāzi, lai patiesībā vaicātu šo informācijas tipu.Galvenās problēmas un trūkumi Pareizās informācijas atrašana lielā nestrukturētā datu vārdnīcu tīklā nav realizējama. Datu bāzes parāda federālajā vārdnīcā visas uz federāciju eksportējamas daļas, bet tas pārkāpj datu bāzes autonomiju. Gadījumā, ja datu bāze piekrīt dalīt savu shēmu, importējošai datu bāzei nepieciešams saprast importējamās shēmas iekšējo organizāciju (semantiku).

17

Ja šādu shēmu ir desmiti, šāda sistēma kļūst slikti piemērota informācijas meklēšanai. Importēšana/eksportēšana norāda uz to, ka integrācija tiek veikta tikai starp divām datu bāzēm. Tas var liecināt, ka arhitektūra punkts-punkts slikti mērogojama. Jebkurā laika sprīdī nevar tikt nodrošināta piekļuve pie visām datu bāzēm, kas piedalās federācijā.

18

Hiperdalīšanas pieeja

Pieeja ietver divus līmeņus:1. Koalīcijas - coalitions (nozīme, ka datu bāzes ir cieši saistītas)2. Servisa saites – service links (nozīmē, ka starp datu bāzēm ir brīvi sakari)Līdzdatubāzes (co-databases) ir līdzeklis šo koncepciju īstenošanai un realizē starpvietņu datu dalīšanuServisa saišu tipi:1. Koalīcija – koalīcija;2. Datu bāze – datu bāze;3. Koalīcija – datu bāze.

19

Koalīciju un servisa saišu piemērs

20

LīdzdatubāzesLīdzdatubāzes ir objekti-orientētas datu bāzes, piesaistītas katrai dalības datu bāzei. Objektu orientācija labi piemērota sarežģītas struktūras un uzvedības modelēšanai. Svarīga loma ir mantošanai un iekapsulēšanai.

Līdzdatubāzes shēma sastāv no 2 apakšshēmām: koalīcijas vai servisa.Katra apakšshēma sastāv no klasēm, katra no kurām ir datu bāzu kopa, kas apmierina vaicājumus par noteikta tipa informāciju.Servisa apakšshēma sastāv no koalīciju servisu apakšshēmas un datu bāzes servisu apakšshēmas.Katra apakšshēma sastāv no divām apakšklasēm, kas attiecīgi apraksta servisus ar datu bāzēm un servisus ar citām koalīcijām.Koalīciju apakšshēma sastāv no vienas vai vairākām apakšshēmām, katra no kurām reprezentē koalīciju.

21

Hiperdalītas datu bāzes veidošana un attīstīšana

Lēmumu pieņemšana ir decentralizēta un jaunām datu bāzēm nav nepieciešams visu dalības datu bāzu vai centrālās instances apstiprinājums.Hiperdalīta datu bāze netiek veidota vai attīstīta tieši, bet gan caur tās sastāvā esošo entītiju - koalīciju un servisa saišu modificēšanu (update). Hiperdalīta datu bāze tiek attīstīta katru reizi, kad jaunā datu bāze kļūst par koalīcijas vai servisa saites daļu. Izmaiņas notiek dažādās līdzdatubāzēs.

Koalīciju veidošana un modificēšanaKoalīcijas tiek veidotas paralēli bez iepriekšējas vienošanas vai saskaņošanas ar citām koalīcijām.Koalīcijas shēma var tikt izmainīta ekstensīvi (klases instances izveidošana) vai intensīvi (apakšshēmas piesaistīšana, kas apraksta koalīcijas servisa sniedzējus).Līdzdatubāzu modificēšana servisa saišu izmaiņu rezultātā ir līdzīga koalīciju modificēšanai ar atšķirību, ka izmaiņas koalīcijās tiek pakļautas stingrākiem noteikumiem.Piemēram, servisa saite starp datu bāzi un citu datu bāzi vai koalīciju var tikt viegli pārtraukta bez kaitējuma atbildīgai pusei.

22

Daudzbāzu sistēmas piecu līmeņu shēmas

Globālā shēma

Ārējā shēma A Ārējā shēma B Ārējā shēma C

Federācijas shēma A Federācijas shēma A

Eksporta shēma A Eksporta shēma B Eksporta shēma C

Komponenta shēma A Eksporta shēma B Eksporta shēma C

Lokālās DB shēma A Lokālās DB shēma B Lokālās DB shēma C

23

Biežāk izmantotie datu integrēšanas rīki Produkta nosaukums Tips Organizācijas

lielums Funkcionālās īpašības

webMethods Integration Platform

Programmatūra/ Mākoņserviss Vidēja, Liela

1) droša datu apmaiņa;2) dažādu modeļu pieejas nodrošināšana;3) specifiskas loģikas izstrādes iespējas;4) ierīču un lietojumu savienošana;5) heterogēnu datu apstrāde (Software AG, n.d.b.).

Oracle DI Programmatūra Vidēja, Liela

1) ETL procesa nodrošināšana;2) lielu datu apstrādes spēja;3) dažādu failstruktūru atbalsts;4) integrēts ar saimes produktiem

(Oracle, n.d.g).

Dell Boomi Programmatūra/ Mākoņserviss

Maza, Vidēja, Liela

1) Datu kvalitātes servisi;2) centralizēta lietotāju

pārvaldība;3) spēja savienot mākoņu un

esošos organizācijas risinājumus;

4) dāžādu servisu pārvaldības spēja (Boomi, n.d.).

SQL Server Integration Services

Programmatūra Maza, Vidēja, Liela

1) ETL procesa nodrošināšana;2) integrācija ar MS saimes

produktiem;3) iepriekš definētas

transformācijas;4) papildus rīki procesa izstrādei

(Microsoft, 2008).

Cleo Integration Suite

Programmatūra/ Mākoņserviss Vidēja, Liela

1) Big Data atbalsts un B2B integrācija;

2) nestrukturizētu datu apstrāde;3) datu attēlošana un droša datu

apmaiņa; 4) dažādu datu formātu atbalsts

(Cleo, n.d.).ATTUNITY Programmatūra Maza, Vidēja,

Liela1) Dažādu heterogēnu avotu

savienošana;2) datu replikācijas serviss;3) pārvaldīta datu sūtīšana

24

(Attunity, 2017).

Actian DataConnect Programmatūra Vidēja, Liela

1) Paredzēts DB integrācijai;2) nodrošina datu noliktavas

integrācijas;3) dažādu formātu pārveidošana;4) scenāriju glabāšanas

mehānisms (Actian, n.d.).

ALTOVA Programmatūra Vidēja, Liela

1) Dažāda formāta datu attēlošana;

2) procesu automatizācijas serviss;

3) datu bāzu savstarpējā integrācija (Altova, n.d.).

Pentaho Programmatūra Vidēja, Liela

1) ETL procesa nodrošināšana;2) paralēlu procesu dzinējs;3) heterogēnu datu avotu un datu

apstrāde (Pentaho, n.d.).

IT nozarē tiek izmantoti liels daudzums dažādu datu integrēšanas rīku, kuriem ir ļoti līdzīga funkcionalitāte. Tādēļ jāizvērtē, jāveic analīze, kāds rīks vai risinājums ir optimāls konkrētai organizācijai.

25

Semantiskā datu integrēšana (ontoloģijas izmantošana)

No 2010. gada daži darbi datu integrācijas pētījumos attiecas uz semantisko integrācijas problēmu. Šī problēma nav integrācijas struktūras strukturēšana, bet kā atrisināt semantiskos konfliktus starp neviendabīgiem datu avotiem.Kopīga stratēģija šādu problēmu risināšanai ietver ontoloģijas izmantošanu, kas skaidri definē shēmas terminus un tādējādi palīdz atrisināt semantiskos konfliktus.

Datu integrācija ar ontoloģiju, ietver ontoloģijas (-u) izmantošanu, lai efektīvi apvienotu datus vai informāciju no vairākiem neviendabīgiem avotiem. Tā ir viena no daudzajām datu integrācijas pieejām, un to var klasificēt kā globālo – kā - skatu (GAV). Ontoloģijas datu integrācijas efektivitāte ir cieši saistīta ar integrācijas procesā izmantotās ontoloģijas konsekvenci un ekspresiju.

26

Datu neviendabība

Datus no vairākiem avotiem raksturo vairāki neviendabīguma veidi: 1) sintaktisks neviendabīgums: ir atšķirību rezultāts datu attēlojuma formātā;2) shematisks vai strukturāls neviendabīgums: vietējais modelis vai struktūra datu glabāšanai atšķiras datu avotos, kas izraisa strukturālu neviendabīgumu; 3) semantiskais neviendabīgums: atšķirības datu “līdzekļa” interpretācijā ir semantisko neviendabīguma avots;4) sistēmas neviendabīgums: dažādu operētājsistēmu izmantošana, aparatūras platformas izraisa sistēmas neviendabīgumu.

27

Datu centru (data hub) izmantošana datu integrēšanā

Datu centrs (data hub) ir datu apkopojums no vairākiem izplatīšanas, koplietošanas avotiem, kā arī bieži lietotu datu apakškopām. Parasti šī datu izplatīšana ir centra mezgla un runas (hub and spoke) arhitektūras formā.Centra mezgla un runas sadales paradigma ir transporta topoloģijas optimizācijas veids, kurā satiksmes maršruti tiek organizēti kā virkne saišu, kas savieno attālos punktus ar centra centrālo mezglu. Vienkāršas šī savienojuma modeļa formas var kontrastēt ar punkts - punkts tranzīta sistēmām, kurās katram punktam ir tiešs maršruts uz katru otro punktu un kas bija galvenā pasažieru un kravas pārvadāšanas modelēšanas metode līdz 1970. gadiem.

Datu ezers (data lake)

Datu ezers (data lake) ir metode datu glabāšanai sistēmā vai repozitorijā, tā dabiskajā formātā. Tas atvieglo datu izvietošanu dažādās shēmās un struktūrās, parasti objektu BLOB vai failos. Datu ezera ideja ir vienota visu datu krātuve uzņēmumā, kas atšķiras no jēldatiem (kas nozīmē precīzu avota sistēmas datu kopiju) pārveidotiem datiem, kas tiek izmantoti dažādiem uzdevumiem, tostarp pārskatiem, vizualizācijai, analītikai.

28

https://www.amazon.com/Principles-Data-Integration-AnHai-Doan/dp/0124160441Principles of Data Integration 1st Edition by AnHai Doan (Author), Alon Halevy (Author), Zachary Ives (Author) 2012ISBN-13: 978-0124160446 ISBN-10: 0124160441

Data Integration Blueprint and Modeling: Techniques for a Scalable and Sustainable Architecture (paperback) (IBM Press)Jan 6, 2011by Anthony David GiordanoISBN-13: 978-0133967371 ISBN-10: 0133967379

Customer Data Integration: Reaching a Single Version of the Truth (SAS Institute Inc.)Aug 4, 2006by Jill Dyche and Evan LevyISBN-13: 978-0471916970 ISBN-10: 0471916978

https://solutionsreview.com/data-integration/top-5-books-on-data-integration-for-data-professionals/http://research.cs.wisc.edu/dibook/https://solutionsreview.com/data-integration/top-books-on-data-integration-and-data-virtualization/http://oracle.com.edgesuite.net/ebook/di/index.htmlhttp://www.dbta.com/DBTA-Downloads/WhitePapers/eBook-Data-Integration-for-Dummies-5333.aspxhttp://www.sciencedirect.com/science/article/pii/S004763741500069X

http://go.globalscape.com/bing5ringsdatahell?utm_source=bing&utm_medium=cpc&utm_campaign=Integration_US&utm_term=data%20integration

https://go.oracle.com/LP=31286?elqCampaignId=48282&src1=ad:pas:bi:dg:odi&src2=wwmk160603p00087c0002&SC=sckw=WWMK160603P00087C0002&mkwid=sktmsiwlH|pcrid|{creative}|pkw|data%20integration|pmt|e|pdv|c|sckw=srch:data%20integration

http://www.oracle.com/technetwork/middleware/data-integration/overview/index.html

https://en.wikipedia.org/wiki/Data_integration

http://www.informationbuilders.com/database-integration

https://solutionsreview.com/data-integration/data-integration-solutions-directory/

http://www.oracle.com/technetwork/middleware/data-integrator/overview/index.html

http://www.dbta.com/Editorial/Trends-and-Applications/10-New-Requirements-for-Modern-Data-Integration-109146.aspx

29

https://web.cs.wpi.edu/~cs561/s12/Lectures/IntegrationOLAP/DataIntegration.pdf

http://www.itec.uni-klu.ac.at/~harald/c2000-7.html

http://www.workflowpatterns.com/documentation/documents/transactionmodel.pdf

http://www.uio.no/studier/emner/matnat/ifi/INF5100/h11/undervisningsmateriale/heterogeneous_dbs.pdf

https://docs.oracle.com/cd/E22041_01/doc.74/e25102/adm_multidb.htm#autoId0

Managing a Multidatabase or Multischema SystemOracle® Communications Billing and Revenue Management Concepts Release 7.4 E25109-01