van losse excel naar data driven commerce - Vincent van warmerdam - Go Data Driven

Being Data DrivenFrom Excel to Much More

Vincent D. Warmerdam @fishnets88 - koaning.io - GoDataDrivenVincent D. Warmerdam - @fishnets88 - koaning.io - GoDataDriven 1

Who is this guy?voorheen digital nomad3 jaar @ GDD koaning.io PyData Amsterdam Rstudio partner Machine Learning Meetup gratis open source training

Vincent D. Warmerdam - @fishnets88 - koaning.io - GoDataDriven 2

I write code,I solve data problems, ask me anything.

werkt niet voor netflixVincent D. Warmerdam - @fishnets88 - koaning.io - GoDataDriven 4

Dit is Anna.

Anna werkt voor Netflix ...... en die wil ze beter maken

Ze wil de voorpagina relevanter maken voor gebruikers. Ze gaat met data aan de slag.Ze wil een AB toets doen.

Voorbeeld:

Elke bezoeker moet een persoonlijke voorpagina hebben.Vincent D. Warmerdam - @fishnets88 - koaning.io - GoDataDriven 7

Voorbereiding

Anna kan meteen over algoritmes nadenken, maar ze begint gewoon lekker simpel.

Voorbereiding

Ze wil genres die je vaak bekijkt vaker voor laten komen.

Voorbereiding

Ze wil genres die je vaak bekijkt vaker voor laten komen.

Ze wil voorkomen dat ze misschien te veel tijd hier aan besteed dus wil ze met data spelen om te toetsen of haar hypothese zinnig is. Timebox!

Hypothese

We gaan genres aanbevelen die een persoon vaak kijkt, want dat wil deze persoon.

Even checken;

Hypothese

Even checken;1. Kijken gebruikers vaak naar dezelfde genre?

Hypothese

2. Is de kijk-kans afhankelijk van inhoud van voorpagina?

Hypothese

2. Is de kijk-kans afhankelijk van inhoud van voorpagina?

3. Vanaf wanneer kunnen we de genre-voorkeur bepalen?

PubliekHoe simpel is de analyse?

PubliekHoe simpel is het algoritme?

PubliekHoe lang mag zoiets duren?

Het klinkt simpelWaarom is dat vaak niet zo?

Situatie KlantDeel van de data zit bij een 3e partij (email vendor).Deel van de data zit in Google Analytics. Deel van de data in data warehouse. Deel van de data zit in een CRM systeem. Deel van de data staat als log weggeschreven ... ... en zal over 2 weken niet meer beschikbaar zijn.

Situatie KlantDeel van de analyse zit in een excel file in een email. Deel van de analyse zit in een powerpoint in een slack chat. Deel van de analyse zit in een word document op dropbox. Deel van de analyse is kwijt omdat een collega hier niet meer werkt.

Wat gebeurt er buiten Netflix?Anne vraagt aan collegas naar bruikbaar voorafgaand werk en naar data. Ze krijgt een mengeling van powerpoint, excelsheets, google docs en sql-scriptjes.

De collega die het allemaal gedaan had is op vakantie dus gaat Anne zelf aan de slag om alles werkend te krijgen.

Wat gebeurt er buiten Netflix?Anne vraagt aan collegas naar bruikbaar voorafgaand werk en naar data. Ze krijgt een mengeling van powerpoint, excelsheets, google docs en sql-scriptjes.

De collega die het allemaal gedaan had is op vakantie dus gaat Anne zelf aan de slag om alles werkend te krijgen.

Wat kan er allemaal fout gaan?

Wat kan er allemaal fout gaan?• Kan zijn dat een kolom verkeerd geintrepreteerd is.

• Excel in een email, kan op 10 manier fout gaan.

• Heeft iemand anders deze analyse al gedaan?

• Hoe kan Anne zeker weten dat zijn collegas het goed gedaan hebben?

Analyse is niet het probleem.Algoritme is niet het probleem.

Kennis schalenis het probleem

Anna werkt gelukkig bij NetflixDaar hebben ze dit op orde

Vooral op gebied van houding

StappenplanIk heb wat tips die kunnen helpen.

tip 1: data moet centraal zijnDe data moet veilig zijn, maar in elk geval centraal. Je wilt dat iedereen dezelfde bron van waarheid heeft. Elke analyst moet de dezelfde datasets kennen.

• Google Dump/Divolte

• Hadoop

• Cloud

tip 2: scheiding data/analyseJe wilt dezelfde analyse kunnen uitvoeren op ander data door alleen maar naar een nieuw bestand te wijzen. Je wilt een verschil hebben tussen analyse en de data die ten grondslag is.

• Geen Excel meer voor serieus werk

• Rstudio Notebooks

• Jupyter Notebooks

tip 3: deel kennisActief: • elk team elke week demo

• maandelijke hackatons

• data quiz/uitdaging

Je wilt van elkaars experimenten leren en je wilt weten wanneer je elkaar kan helpen.

tip 3: deel kennisPassief: • Github

• Blog

• AirBnB knowledge repo

Slechts dan is kennis; reproduceerbaar, controleerbaar, consumeerbaar, ontdekbaar, verrasbaar

tip 4: investeer in kennisHet is een beetje raar als je eigen werkgever je eigen ontwikkeling in de weg zit. Zeker in een tijd wanneer het zo gemakkelijk is om dingen te leren.

Taktiek Vincent; never let your school get in the way of your education.

Harde waarheid: mensen die goed zijn gaan vanzelf weg als ze ergens anders beter kunnen groeien.

tip 5: open sourceDe betere tooling is gewoon gratis tegenwoordig.

Zelfs Microsoft roept het tegenwoordig en Google doet het al jaren.

tip 5: open sourceAls je nog niet doorhebt dat de betere tooling tegenwoordig gratis is dan vrees ik dat je snel gaat achterlopen.

De cultuur achter open source zorgt er ook voor dat je van het werk van andere bedrijven kan genieten.

Het goede nieuws is; het is nog nooit zo gemakkelijk geweest om hier in te investeren.

Next Steps AnnaBij Anna (Netflix) zijn al deze culturele dingen op orde en hebben ze ook goed geinvesteerd in technische kennis.

Je moet je voorstellen dat de kracht dan niet komt van goed zijn in algoritmes maken ... eerder in de snelheid waarmee je de algoritmes kan toetsen.

Als de helft van je 100 experimenten geen verbetering zijn, dan heb je nog steeds 50 verbeteringen.

Anna is geen analystZe is een data scientist. Daar zit nogal een verschil in.

Maar dat verschil ga je als bedrijf pas merken op het moment dat je als bedrijf je kennisschaling op orde hebt.

Dan kan Anna namelijk gemakkelijk algoritmes bouwen die de wereld niet verklaren maar juist voorspellen. Anna gaat nu niets liever doen dan allerlei versies van algoritmes tegen elkaar toetsen.

Dit is dan een schaalbare manier om beslissingen te maken.Vincent D. Warmerdam - @fishnets88 - koaning.io - GoDataDriven 41

Ervaring uit Eigen WerkHet kan snel gaan, een hoop organisaties doen dit.

• Na drie maanden tijd recommender live bij NPO.

• Na 1 maand heb je een voorraad model voor modemerk.

• Na 2 dagen heb je een dashboard voor late passagiers.

Meerendeel van de tijd ben je bezig met het schaalbaar maken van data; niet het analyseren ervan.

Ervaring uit Eigen Werk

ConclusieData analyseren is eigenlijk heel simpel, maar het schalen van kennis is moeilijker. Als je data inzet zonder dat je het kan schalen, dan kun je je maar beter gaan afvragen wat je aan het doen bent.

Open SourceIk geloof er heilig in dat we de wereld beter kunnen maken als de beter met data omgaan. Daarom geef ik al 5 jaar gratis cursussen in data met Rstudio/PyData.

Wil je de volgende keer meedoen? Kom even langs dan schrijf ik je in op de mailing.

Images are all from the nounproject. In particular I thank;

• Thibault Geffroy

van losse excel naar data driven commerce - Vincent van warmerdam - Go Data Driven

Data & Analytics

Transcript of van losse excel naar data driven commerce - Vincent van warmerdam - Go Data Driven

Nice price office brochure losse pag lr

Losse kaartverkoop seizoen 13/14

j a a r g a n carnaval6 nr. 2 • februari 2016 Ninove info volgorde stoet Vaste groep zonder wagen Vaste groep met wagen A: Losse groep buiten categorie 1-21: Losse groep (deelnemers

lossE h ~i - DTIC

SAP Big Data Forum 2013 A4 Marcel Warmerdam - The METISfiles

MARIJKE VAN WARMERDAM · 2017-08-05 · MARIJKE VAN WARMERDAM Born in 1959, Nieuwer Amstel, Netherlands Lives and works in Amsterdam Selected solo exhibitions 1995 Venice Biennial

De cinema van Alex van Warmerdam: Westerns in de polder. · 2017-12-15 · van Alex van Warmerdam, namelijk Abel, De Noorderlingen, Kleine Teun, Grimm en Schneider vs. Bax, kunnen

1 Hedwig Vermeulen John Warmerdam ITS Nijmegen October 2011 Educational Monitor for the Temporary Agency Work Sector.

zBrochure - Losse bladen met zalen

Rotkreupel: behandeling: bekappen van de klauwen en anti-infectieuze ther. losse hoorn wegnemen

Nr 3 mmagazine losse paginas

Erfgoedverkenning drenthe 17 06 15 losse paginas kl

Maatwerk Mogelijk brochure (losse pagina's) (A5)

Save As: V DEVICES Disk MAC JOHN Totaal bestan Orders FTP _!pDesign Losse pagina l.pdf Losse pagina 2.pdf Settings... Losse pagina 3.pdf Macintosh HD Losse pagina 4.pdf SHARED j.dekker

20805 complan brochure losse pag def

Ronald van Warmerdam - Sensemaking in het park

Ronald van Warmerdam - Municipality of Amsterdam - Green Municipal Buildings

Factsheet deeltijd CMV losse pag

De kracht van losse bijzinnen - Onze TaalMaandblad van het Genootschap onze taal 1 De kracht van losse bijzinnen ‘Minder Engels op de universiteit’ Onderzoek: Nederlands heeft

MapServer-OGR-OPeNDAP: An Integrated System for Uniform Access to Land and Oceanographic Datasets Frank Warmerdam Consultant Thomas E. Burk University.