Hafslund AMS: Hvordan semantisk integrasjon redder

Norges største IOT-prosjekt

Jon Andreas Pretorius, Hafslund Nett Simen Sommerfeldt, Bouvet

til JavzZone 2015

s.2

Utfordringen;

s.3

Løp ut og kjøp 700.000 avanserte strømmålere

Bygg et sikkert radiokommunikasjons –nettverk som dekker (nesten) all bebyggelse i Oslo, Akershus og Østfold

Bytt ut alle 700.000 gamle strømmålere hjemme hos folk innen 1.januar 2019 (inne bak låst dør) ((tja, ca 1.200 per arbeidsdag))

Sørg for at all kunde- og anleggs -data er korrekt, konsoliderte og tilgjengeligjøres for utrullingsprosessen (fra et tradisjonelt norsk lappverk av

en semi-integrert applikasjonsportefølje)

Sørg for at all ny data, inkludert data fra de 700.000 målerne er tilgjengelige og konsolidert med eksisterende data, og at de kan benyttes av (ca her dupper de fleste i

salen av) kundene og internt for analyse som gir økt effektivisering av strømnettet (også her i den tradisjonelle norske applikasjonsporteføljen)

OK?

s.4

Hafslund s.5

Operasjonell struktur

6

Produksjon

Vannkraft-produksjon

Varme

Fjernvarme-produksjon

Fjernvarme-distribusjon

Bioenergi

Nett

Regionalnett

Distribusjons-nett

Driftssentral

Marked

Strøm

Kundesenter

Fakturaservice

Forretningsområde Nett

•  Hafslund eier og drifter Norges største strømnett, og har lenge hatt en av landets laveste nettleier.

•  Hafslund er regionalnettseier i Oslo, Akershus og Østfold.

•  Hafslund eier distribusjonsnettet i Oslo og størstedelen av Akershus og Østfold.

•  Antall nettkunder per 1.1.2015 er 683.000. •  Nettet består av til sammen 38.434 km luftledninger

og jordkabler. •  I regionalnettet er det 168 transformatorstasjoner. •  I det høyspente fordelingsnettet er det 17.156

nettstasjoner med til sammen 19.322 transformatorer. •  Hafslund har en av Europas mest avanserte

driftssentraler som styrer, overvåker og optimaliserer strømnettet til 1,5 millioner mennesker, fjernvarmeanleggene i Oslo-området og Hafslunds kraftverk i Glomma.

7

Hafslund har eksistert i over 100 år- siden 1898

s.8

Det vil være større endringer de neste fem årene enn det har vært de siste 100 årene

1899 1911 2011 2020

?"

Regulatoriske endringer vil øke kompleksiteten og kreve stor grad av automasjon

s.10

35 000 enkle fjernavleste målere

Årlig driftskost pr måler: ca 950

700 000 komplekse fjernavleste målere

Har i dag buffer for feilretting. Stort sett bare ifm måler-avlesning at programmet er tett

Årlig driftskost pr måler: 150

Alt online og ingen buffer eller servicevindu. Alt må alltid være tilgjengelig. Kan illustreres ved å tenke at det var måleravlesning hver dag hele døgnet

IT er i liten grad en trussel for omdømme

Hacking, virus mm vil utgjøre en mye større trussel generelt og målere vil kunne hackes

Kompleksitet høy, men vi reddes av rolige perioder

Kompleksitet vil være betydelig høyere og konstant

I dag 2020

AMS elHUB

Kundens forventning som i 1990 Hvordan vil kundens forventning endres?

AMS:

•  De nye smarte målerne registrerer strømforbruket på timebasis og sender automatisk informasjon om forbruket til nettselskapet

•  De nye smarte målerne registrere også data knyttet til spenningskvalitet, jordfeil etc

•  De nye målerne har to-veis kommunikasjon mellom måler og nettselskap, og vil kunne gi kundene løpende informasjon om eget forbruk og øyeblikksprisene for kraft og nettleie.

•  Nettselskapene er ansvarlige for installasjon og drift av AMS-systemet, men nettselskapene kan ikke nekte andre tjenesteleverandører å tilby kundene styrings- og informasjonstjenester.

Avanserte Måle- og Styringssystemer (AMS) innføres innen 01.01.2019

AMS – grunnmuren i fremtidens digitale strømnett

s.12

Elhub og leverandørsentrisk modell

ElHub

Statnett har fått i oppdrag av NVE å etablere Elhub.

Elhub skal samle inn alle måleverdiene for Norge og samtidig gjøre disse verdiene tilgjengelig for

kraftleverandører og deres sluttkunder. Videre skal Elhub understøtte prosesser for kunder som flytter eller bytter leverandør, samt sammenstille data for avregning

mellom aktørene i kraftmarkedet

For Hafslund Nett betyr dette at innsamlede og verifiserte timesverdier fra samtlige AMS strømmålere

skal overføres til ElHub en gang i døgnet

Når leverandørsentrisk modell etableres vil kundene kun forholde seg til strømselskapet (eksempel

tjenesteleverandører og infrastrukturleverandør mobiltelefoni)

Leverandørsentrisk modell skaper store endringer i forretningsprosesser og datautveksling i bransjen

Skisse hentet fra elhub.no

s.13

System D System …

System C System B System A

System N

Hafslund har utredet to alternative løsninger for integrasjonsarkitektur som vil støtte kravene til ny AMS løsning; -  ServiceBus -  DataNAV (Semantisk/RDF) Hafslund har erfaring med begge løsninger, men prosjektet anser en DataNAV-basert løsning som mest hensiktsmessig i denne sammenheng; -  Økt stabilitet (asynkron

datautveksling) -  Færre integrasjonspunkter -  Tilsvarende arkitektur valgt

sentralt for El-Hub

DataNAV

Valg av integrasjonsløsning

s.14

IFS ERP

Lager & Logistikk Prosjektmodul AO-modul 360º

Schedulering

Nytt feltverktøy

Økonomi anleggsregister Dokumentasjon

HR/Ressurs

Utrulling AMS

Drift. AMS

Etappeplanlegging og oppfølging Tildel Start opp Utfør Rapporter Prosjekt, Drift, Vedl.

eksisterende Mottak – uttak varer

DataNav

GeoNIS #anlegg

Quant #AMS

Generis #gammel måler

CAB #kunde

Datavarehus /Arkiv

Konsolidert kunde- og anleggs-data fra DataNav

Datakilder for utrulling

Datamottakere i utrulling

Historisk data-arkiv og analyse

Integrasjonsmotor

All masterdata konsolideres i DataNAV DataNAV er eneste kilde for samtlige fagapplikasjoner Ved hjelp av den semantiske databasen «kobles» alle data DataNAV gir stort potensiale forvaltning av informasjonsmodell og analyse

Etablert applikasjon løsningsdesign

www.hafslund.no www.hafslund.no

Advisor and CTO, Bouvet Oslo Lær Kidsa Koding! Oslo IoT meetup

@sisomm

Master data: Elefanten i

rommet

System System

System

System

System

System

System

System System

System

System

Jeg har holdt mange foredrag og skrevet mange artikler om IOT

Hypotese: Internet of Things prosjekter vil alltid involvere

integrasjon

http://m.ash.to/cairo/images/pano/october-war-panorama-01.jpg

Store systemer vil egentlig ikke snakke med andre

Folk glemmer ting

Systemer er fulle av bugs

De som skal fikse er ikke tilgjengelige

Systemer oppgraderes plutselig

Systemer trenger ny info

Meldingstyper kan ikke endres

Noen vil ikke samarbeide

Lover og regler endres

Det er ikke produktet SESAM som er viktig men idéen om

DOA

Arkiv

HR

Turnus

Regnskap

Lønn

Klasssk ende-til-

ende integrasjon

Arkiv

HR

Turnus

Regnskap

Lønn

ESB ESB

Klassisk integrasjon

med ESB

s.32

Arkiv- domene

HR- domene

Turnus -domene

Regnskap- domene

Lønn -domene

msg msg msg

Micro- Services:

REST

Arkiv

HR

Turnus

Regnskap

Lønn

Felles datamodell?

Traditional SOA med kanonisk

datamodell HINDRER fleksibilitet

DOA – Data Oriented Architecture

37

Arkiv

HR

Turnus

Regnskap

Lønn

Behold datamodellene – kopier dataene

Vi kopierer hele domene- modellene fra

systemene

Konvertering av data- RDF ID Name Position Born E-mail Manager

101 Tim Berners-Lee

Programmer 08061955 timbl@w3c.org 958

958 Vint Cerf Inventor 23061940 vint@stanford.edu 999

765 Pål Spilling Professor 04111940 pspilling@uio.no 765

Subject Predicate Object

101

101

101

101

Type Person

Name

Position

Born

E-mail

Manager 101

timbl@w3c.org

08061955 958 Programmer Tim Berners-Lee 101

Universelt unike identifikatorer

Subject Predicate Object

www.org.no/data/system/person/1 Type Person

www.org.no/data/system/person/1 Name Tim Berners-Lee

www.org.no/data/system/person/1 Position Programmer

www.org.no/data/system/person/1 Manager www.org.no/data/system/person/2

www.org.no/data/system/person/2 Name Vint Cerf

www.org.no = Unique organisation on the internet www.org.no/data/system/person/1 = unique id of the information element

Arkiv

HR

Turnus

Regnskap

Lønn

Koble data

Duplikater Kontakt=Kontakt

Location= Avdnr Empnr=ID1

Avdnr=Depnr

Med open-source verktøyet DUKE kan vi koble elementer uten felles identifikatorer – ved å benytte statistiske algoritmer og trening på datasett

Arkiv

HR

Turnus

Regnskap

Lønn

Arkivering med metadata fra flere kilder

Nav

Dok

Meta1 Meta2

Dok

HR Dest

Løse koblinger! SDShare

Source

HUB

•  Hent data, ikke dytt! •  Asynkront •  Abonnenter får data som er endret siden sist •  ...spør etter endringer eller hele datasettet •  Informasjonen transformeres i fart

www.sdshare.org

Arkiv

HR

Turnus

Regnskap

Lønn

Integrasjon via nav med løse koblinger

Nav

Søk

Arkiv

HR

Turnus

Regnskap

Lønn

I valgtider: kommunesammenslåing?

Nav

Turnus

HR

Lønn

Arkiv Søk

s.49

Arkiv- domene

HR- domene

Turnus -domene

Regnskap- domene

Lønn -domene

Micro- Services: REST m/SESAM

modell&

modell& modell&

modell&

mod

ell&

Vi bruker en “Hashtracker” for å spore endringer, eller et “sist endret” felt

Lese med SQL/File Skrive med API

En “push receiver” er en http server som mottar RDF fragmenter. Den kaller på API hos målsystemet. Hvis det feiler, forsøker Sesam igjen

DOA

Database&

Content&Mngmt&

File&System&

Enterprise&Search&

Reporting&

Analytics&

Data&Hub&

System&X&

Public&Open&Data&

Content&Mngmt&

Enhance&and&

Connect&

COLLECT

CONNECT

SHARE

Tran

sform&

Data objects flow NOT messages

Kafka for ekstra trøkk

SDShare&Server&KaDa&

Provider&

RDF&Store&

KaDa&Queue&

Kafka kan hente og berike data i enden av køen

•  SQL Databaser via jdbc •  CSV filer •  RDF triple stores •  Sharepoint •  Kafka •  XML filer •  LDAP kilder •  Excel files •  MS Exchange server (mail and calendar) •  SDSHARE – anything! (MongoDB, etc)

Data kilder og mottakere

61

Data Analytics & Enhancement Existing Systems

Processes Search and Reporting

All Data Indexed

Contribute data

Drive process through state change

Models in data, Constraints in data

Act on all data Analytics results are

just more data

Complete views of all

systems and processes

Use Data

All people can ask all questions

Uniformly Structured data

from heterogeneous

sources

System Improved

Andre systemer kan fortsette å kjøre selv om ett er nede. Og du kan oppgradere et system eller installere et nytt med færre konsekvenser

Kunden får makt over informasjonsmodellen

og stiller sterkere overfor leverandører

Kunden kan lage prototyper og hurtig kombinere

informasjon til nye systemer

1.  Du skal kun få fra data fra andre systemer gjennom SDSHARE

2.  Prosesser drivs frem gjennom statusendringer i domenemodeller

3.  Det vil aldri eksistere en felles datamodell i bedriften

4.  Du skal aldri spørre navet direkte, men få data gjennom SDSHARE

5.  Du skal være komfortabel med ”eventual consistency”

6.  Du skal gi det samme svaret når du blir spurt om det samme

7.  Verden er asynkron. Ikke prøv å påtving den noe annet

8.  Du skal avfinne deg med at den samme informasjonen kan ha flere kilder og oppdateres flere steder

9.  Systemene trenger ikke å kjenne til informasjonsnavet

10.  Informasjonsnavet er ikke en backup

De ti bud for DOA

•  Java-basert, Kjører i Docker •  Bruker Github og Saltstack for å holde

installasjonene ajour •  I kjernen: Virtuoso Triple Store •  Har en “Data browser” •  Bruker SOLR for å tilby universelt søk •  All kommunikasjon skjer via SDSHARE •  Konfigurasjon over koding

Sesam tech

Et paradigmeskift for kodere •  Eventual consistency •  Tafsing av data •  RDF og SDShare •  Sparql er ikke SQL •  Idempotence: Sesam

kan sende duplikater •  Ingen direkte kall eller

meldingshåndtering •  Du trenger en

informasjonsarkitekt •  IKKE bruk flere køer.

http://m.ash.to/cairo/images/pano/october-war-panorama-01.jpg

Tråkk til! Lag AMS med SESAM!

Oppsummering av krav

•  Massive datamengder •  Mange systemer som må koordineres •  Mange implementasjons-steg, med skiftende

behov •  og... Ikke unikt for Hafslund:

Komple)e"nå,d"og"historiske"anleggsdata,"kundedata,"arbeidsordre,"hendelser,"

«sensor»data,"feilrapporter"++"kny)et",l"anlegg,"kunde"og",d.""

IFS"

Quant"

GEONIS" CAB"

Arkiv"(Azure)"

MDM"

Felt" Samtlige"kjernedata"og"endringer"som"strømmer""gjennom"DataNAV"arkiveres"i"alle"versjoner"med",dspunkt."""Alle"data"i"DataNAV"er"koblet",l"anleggspunkt"og"eventuelt"kunde,"arbeidsordre"eller"feilrapport.""Det"totale"historiske"volumet"i"DataNAV"gir"et"komple)"databilde"i"Hafslund"Ne),"og"er"en"sentral"database"for"analyse"kny)et",l"driU,"predik,v"analyse,"investeringsbeslutninger"infrastruktur"og"preven,vt"versus"reak,vt"vedlikehold"++""«Sensordata»"fra"700.000"målere"og"ne)stasjonsovervåking"er"sentral"i"denne"dimensjonen."

Analyselag"

83

DataNAV;"All"data",lgjengelig"fra"en"kilde,"koblet",l"en"logisk"anleggsstruktur"

og",d,""gir"en"enorm",lgang",l"rapportering"og"analyse:"

"Y  Arbeidsordre"med"komponentnivå"kny)et",l"spesifikke"

anleggsobjekter"gir"muligheter"for"å"analysere"leve,d"og"finne"faktorer"som"påvirker"leve,d"(se)"sammen"

med"sensordata"fra"strømmålere,"ne)stasjonsovervåking"og"eventuelle"eksterne"kilder"

som"værdata)"

Y  Data"kny)et",l"spenningskvalitet,"jordfeil"og"last"kan"vurderes"per"målepunkt,"per"ne)stasjon"eller"definert"

geografisk"område."Eksempelvis"som"stø)e"ved"investeringsbeslutninger."

Y  Det"finnes"ingen"begrensinger"for"bruken"av"data,"nøkkelen"er"at"samtlige"data"arkiveres"e*"sted"kny)et",l"et"spesifikt"anleggsobjekt."Det"logiske"strukturen"i"anleggsne)et"kny)er"data"sammen"(eksempel;"for"å"håndtere"en"situasjon"eller"endring"i"ne)et"må"man"oppre)e"en"arbeidsordre"i"IFS."IFS"tvinger"brukeren",l"å"kny)e"arbeidsordre",l"et"spesifikt"anleggspunkt"fra"

Geonis)"

Arbeidsordre"på"komponentnivå"

Data"fra"sensorer,"last,"spenning"++"

Hendelser"

84

Data+fra+DataNAV+kan+

enkelt+presenteres+i+kartverk+da"all"

data"er"strukturert"e)er"våre"

standarder"og"er"kny)et",l"definerte"

anleggskomponenter"–"

uavhengig"av"hvilke"

prosessautonome"systemer"de"oppstår"i."DataNAVet"ivaretar"knytning."

Eksempler"basert"på"enkeltkart"fra"Geodata"og"Powell"Geonis"som"er",lgjengelig"for"Hafslund"Ne)"

670.000 x 4 x 24 =

64.320.000 daglige målinger

YAY! Need for american-scale technology

Yay! Need for

AMERICAN scale

technology!

Den første utfordringen er å samkjøre informasjon mellom systemene før målingene kan starte

Lag SQL for import av data, inn i “navet”, skrive “push receivers” mot API’er for skriving til systemer

Alle pilene er ”feeds”

til/fra Sesam

Slide source: Ståle Heitmann, Computas

Når du bør vurdere semantisk integrasjon

•  Brukes gjerne når alt annet er forsøkt •  Mange domener og/eller kilder til samme

informasjon •  Hvis integrasjonsarbeidet involverer mye

datakonvertering •  Hvis integrasjonsprosjektet eser ut •  Som innsamlingsledd for Big Data /

Analytics.

For mer info..

•  send mail til info@sesam.no •  www.sesam.no •  www.sdshare.org

Spørsmål?

•  Anders Volle •  Ståle Heitmann •  Steinar Rudsar •  Axel Borge •  Øystein Isaksen •  Graham Moore •  Lars Marius Garshol •  Steinar Rune Eriksen

Takk til...

Takk for oss!

Simen.Sommerfeldt@bouvet.no

995 07 733

@sisomm

Jon.Andreas.Pretorius@hafslund.no

476 01 370

@herrpretorius