[FDD 2016] Katarzyna Bremer - BIML - sterowane metadanymi tworzenie pakietów SSIS

PowerPoint Presentation

BIML - sterowane metadanymi tworzenie pakietw SSISKatarzyna Bremer

Katarzyna BremerO mnie Ponad 6 lat dowiadczenia w pracy z ETLami Technologie MS SQL Server, PentahoZainteresowania hurtownie danych, systemy BI

BIML - sterowane metadanymi tworzenie pakietw SSIS

Katarzyna BremerCase study Migracja danych Przeniesienie danych za ok. ostatnie 40 lat do struktur nowego sytemu oraz systemu CRM Ilo tabel w strukturach starego sytemu ok. 700Ilo tabel docelowych strukturach nowego systemu sytemu ok. 450Diametralnie rne struktury w starym systemie i systemie docelowymNiewielka ilo danych rdowych ok. 10 GBNiewielki przyrost danych w systemie rdowym


Katarzyna BremerZanim zaczniemy Co to jest proces ETL (Extract Transform Load)

Czym jest pakiet SSIS (SQL Server Integration Services)


SourceTargetExtractTransformLoad

Katarzyna BremerSSIS Hello Word BIML - sterowane metadanymi tworzenie pakietw SSIS

720 linii trudnego w zarzdzaniu kodu Pakiet SSIS.dtsx

Katarzyna BremerDlaczego tworzenie procesw ETLi w SSIS jest tak kosztowne Duo powtarzalnej pracy podatnej na bdyTrudnoci w zarzdzaniu kodem i jego jakoci (trudne CR)Wprowadzanie zmian jest czasochonneZmiana zaimplementowanego wzorca po rozpoczciu projektu jest praktycznie niemoliwaUywanie narzdzi do kontroli wersji jest utrudnione BIML - sterowane metadanymi tworzenie pakietw SSIS

Katarzyna BremerCo to jest BIML (Business Intelligence Markup Language)Dialekt XMLa, ktry umoliwia opis pakietw SSIS i kostek SSASPozwala na tworzenie czytelnego i edytowalnego przez czowieka kodu

BIML - sterowane metadanymi tworzenie pakietw SSISBIML/ BIML ScriptBiml CompilerPakiet SSIS

Katarzyna BremerBIML - sterowane metadanymi tworzenie pakietw SSIS

Katarzyna BremerBIML ScriptMoliwo dodania do BIMLa kodu w C# lub VB Moliwo tworzenia wielu rnych pakietw na podstawie jednego pliku BIMLNieograniczona elastyczno w tworzeniu zmian pakietw w czasie caego ycia projektu


Katarzyna BremerCase study Migracja danych






Katarzyna BremerMigracja Danych - architekturaBIML - sterowane metadanymi tworzenie pakietw SSISDB1DB1DBnSourceStageProduction CRMSSISSSISSSISProjekt bazodanowy Logika biznesowa jest implementowana w procedurach skadowanychZe wzgldu na niezbyt du ilo danych migracja kadorazowo wykonuje si w peni



Katarzyna BremerMigracja Danych - architekturaBIML - sterowane metadanymi tworzenie pakietw SSISDB1DB1DBnSourceStageProduction CRMSSISSSISSSISBIML Baza metadanychProjekt bazodanowy

Katarzyna BremerCo to jest baza metadanych i co zawieraZawiera metadane, ktre wykorzystujemy potem w BIML Script Poczenia (Connection stringi)Definicja metadanych dla kadego budowanego pakietu (jeden pakiet -jeden wpis)BIML - sterowane metadanymi tworzenie pakietw SSISPodstawowepoczenie rdowepoczenie docelowe nazwa schematu rdowego nazwa schematu docelowego nazwa obiektu rdowego nazwa obiektu docelowegoDodatkowerodzaj pakietunumer konteneratruncate tabelifast loadidentity insert czy pakiet jest aktywnyrozmiar bufora

Katarzyna BremerCo by byo gdybyBIML - sterowane metadanymi tworzenie pakietw SSIS

Katarzyna BremerNarzdziaBIDS Helper bezpatna wtyczka do Visuala dostpna na CodePlexMist patny Biml Express bezpatny Biml Online usuga w chmurze w wersji betaBIML - sterowane metadanymi tworzenie pakietw SSIS

Katarzyna BremerPodsumowanie BIMLScript umoliwia atwe i elastyczne budowanie pakietwBIMLa na pewno opaca si przy duych projektach z dua iloci powtarzalnych pakietw np. migracje czy adowanie hurtowni Uatwia zarzdzanie kodem i daje wiksz kontrolWdraajc BIMLa trzeba si liczy z dodatkowym nakadem pracy na zbudowanie frameworkaBIML - sterowane metadanymi tworzenie pakietw SSIS

Katarzyna BremerBIML sterowane metadanymi tworzenie pakietw SSIS [email protected]

[FDD 2016] Katarzyna Bremer - BIML - sterowane metadanymi tworzenie pakietów SSIS

Data & Analytics

Transcript of [FDD 2016] Katarzyna Bremer - BIML - sterowane metadanymi tworzenie pakietów SSIS