Kiel, Q1 2019 © b+m Engineering, Tom Stahl
Artificial Intelligence (AI) und Machine Learning (ML)
Einordnung
Live Demo
Funktionsweisen, Merkmale
Diskussion
Stand der Technik
Agenda
Was ist AI ?
3
Historisch: Turing-Test (Alan Turing, 1950) Blindtest: Ist die AI im freien Dialog nicht von einem menschlichen Gesprächspartner unterscheidbar? Der „AI-Effect“ AI ist das, was aktuell gerade am Rande - oder knapp jenseits - der Machbarkeit ist.
In den 60er Jahren galten Schachcomputer als AI-Systeme. Die letzten 3-4 Jahre In der AI-Forschung gab es in den letzten Jahren erstaunliche Durchbrüche – weitgehend unterhalb der
Wahrnehmungsschwelle der Öffentlichkeit (Deep Learning, Reinforcement-Learning). Die Hardware-Entwicklung (Moore‘s Law) spielt dabei tatsächlich eine untergeordnete Rolle.
Big-Data? AI wird oft/meist im Kontext von BigData gesehen.
Doch gerade der Bereich der selbstlernenden Systeme, die ganz ohne externe Trainingsdaten auskommen, hat jüngst beeindruckende Meilensteine hervorgebracht.
Hype? Im öffentlichen Diskurs ist AI zuweilen recht diffus – In der Informatik/Mathematik ist es ein wohl
definiertes Forschungsgebiet. Dass der Fortschritt auf diesem Gebiet ganz ohne langfristige, makroskopische Auswirkungen bleibt, ist unwahrscheinlich.
AI – Definition über Forschungsfelder
4
Spitzenforschung
Forschung in den Kinderschuhen
AI - Ansätze
5
Symbolic AI
Machine-Learning
Supervised Learning
Unsupervised Learning
z.B. klassische Expertensysteme
- Anwendung
explizit ausformulierter Regeln
Lernende, stochastische Systeme
Systeme lernen durch (i.d.R. „von Hand“ annotierte) Beispiele
AI Landscape – Big Picture
Systeme (Agenten) lernen selbstständig durch Erkunden
ihrer Umgebung
Reinforcement Learning
Deep Neural Networks (Deep Learning)
AI-Breakthroughs: Image Recognition – Convolutional Neural Networks (CNN)
6
AI-Breakthroughs: Language Processing - Recurrent Neural Networks (RNN/LSTM)
7
Facebook: Alice & Bob Experiment
Google Assistant: Haircut Appointment Call
Derzeit bester Translation Service
Reinforcement Learning (RL)
8
Policy: What to do next (learnable strategy) Value: Rating of a state based on reward prediction (learnable value estimation) Reward: Measure for objective/goal (given by design) Model: Representation of the environment (explicit MDP or implicit/learnable)
Policy (Function)
Value (Function)
Environment Model
Reward (Function)
Ingedients
AI-Breakthroughs : Reinforcement Learning (RL) - Robotics
9
Boston Dynamics Atlas
Google Deepmind Runner
AI-Breakthroughs : Reinforcement Learning (RL) – „Full Information Games“
10
AlphaGo Zero
„General AI“
Branching-Factor Schach 20 Branching-Factor Go 200 Mögliche Go Positionen 10 Atome im sichtb. Universum 10
170
80 ~ ~
~ ~
~ ~
~ ~
AI-Breakthroughs : Reinforcement Learning (RL) – „Incomplete Information Games “
11
Challenges Long time horizons Partially-observed state High-dim continuous action space High-dim continous observation space Open-AI Five plays 180 years worth of games against itself every day
DotA (Defense of the Ancients) – Open AI Five vs. 5 Humans (Pro Gamer)
Open AI Five won best-of-three match against 99.95% rated Dota Pros
Zusammenfassung: Was ist Machine Learning ?
12
Maschinelles Lernen ist ein Teilgebiet der Informatik / Mathematik ML implementiert AI. Der Begriff des Lernens wird dabei auf die sukzessive Minimierung einer (beliebig
komplexen) Fehlerfunktion oder umgekehrt das Maximieren einer (beliebig komplexen) Belohnungsfunktion zurückgeführt.
Supervised Learning Überwachtes Lernen, Lernen durch Beispieldaten – in der Regel durch Menschen annotierte Roh-Daten
oder Bilder. Die AI abstrahiert dabei selbstständig von den Beispieldaten und kann auf dieser Basis z.B. auch Prognosen erstellen. Beispiele: Kreditrisiko-Prognose, Fraud Detection bei Versicherungsschäden, Erkennung von Objekten auf Bildern.
Unsupervised Learning - spez. Reinforcement Learning Ein AI-System (auch Agent genannt) lernt ohne Daten o. eincodiertes Domänenwissen allein durch
Erkunden seiner (ggf. virtuellen) Umgebung und das Feedback dieser Umgebung. Beispiele: Roboter lernen (wie Kleinkinder) selbstständig Laufen. „Spiele“: AI-Systeme lernen durch Spielen gegen sich selbst. AI-Systeme lernen Geschäftsprozesse (via Simulation) zu optimieren, ohne starr vorgegebene Prozessmodelle.
Klassische Software-Entwicklung vs. Supervised Machine Learning
13
Computer
Computer Deep-Learning
Artificial Neural Nets (ANN) – Live
14
Live Demo
Computer Vision: Image Recognition
ResNet50 Architektur vortrainiert auf dem ImageNet Benchmark Dataset
Aufgabe: Erkennung des primären Objektes auf einem Bild
ANN in einem REST-Server deployed
Browser-basiertes Demo-Frontend (serverless, singlepage, plain HTML5/CSS3 REST-Client)
ANN – Grundlagen: Neurobiologisches Vorbild
15
ANN – Grundlagen: Mathematische Modellierung eines Neurons
16
Axon-Aktivität Synapsen Zellkörper(Soma)
Dendriten
Linearer Teil (gewichtete Summen + Bias) Nicht-linearer Teil (Schwellwertfuntion)
(Bias)
Mathematische Grundelemente eines künstlichen Neurons
ANN – Grundlagen: Multilayer Perceptron (MLP) 1/2
17
Das Multilayer Perceptron (MLP) ist die einfachste mögliche ANN Architektur
ANN – Grundlagen: Multilayer Perceptron (MLP) 2/2
18
Screenshot from tensorflow playground
Convolutional Neural Nets – Beispiel: Face Classification
19
Input Layer (Neuron = Pixel)
Visueller Cortex) Klassifikator (hier: 4 Klassen)
Output-Layer (Neuron = Klasse)
Woman Man Girl Boy
Classification Output Woman: 85% Girl: 14,5% Boy: 0,5% Man: 0%
Deep Dream
20
Visualisierung gelernter Filter (hier: Merkmale von Hunden) eines Convolutional Neural Nets durch Rückpropagierung auf den Input
Supervised Learning – Training and Validation: Samples
21
Image Classification Sample
Input Target (Soll-Output)
„Jaguar E-Type Serie-1 Roadster“
Semantic Text Analysis Sample (Topic + Sentiment Analysis)
Beschwerde, Schadenmeldung; „empört“
Data Based Prediction Sample Adresse: Schlossalle 1 Liquidität: 50 TEUR Mahnungen: 10 Mtl. Ausgaben: 3 TEUR …
Kreditausfall nach 3 Jahren
Time Series Prediction Sample Passagierzahlen KW7 2018
Passagierzahlen KW1-6 2018
Supervised Learning – Training and Validation: SampleSets
22
Samples Min ca. 8Tsd Avg ca. 80Tsd Large ca. 1Mio Very Large ca. 10Mio
Sample Set
Preprocessing
Data Augmentation
Training
TrainingSet
ValidationSet
Validation
Machine Learning – Take Aways (1/2)
23
ML ist ein Grenzgebiet zwischen Mathematik und Informatik
Mathematik-Verständnis ist essenziell, ML-Werkzeuge sind mächtig aber eben nur Werkzeuge!
ML-Systeme sind stochastische Systeme (mit Wahrscheinlichkeiten behaftet)
ML-Systeme sind (Stand heute) „Black-Box“ Systeme
Maschinelles Lernen bedeutet: Iterative Optimierung einer Funktion (Reward, Loss)
ML-Systeme arbeiten fundamental anders als klassische Computerprogramme, lassen sich aber wie solche betreiben – und in klassische Systeme „einbauen“
ML-Systeme zu trainieren ist „teuer“ (Zeit, Rechenleistung), sie anzuwenden nicht
Die theoretische Leistungsfähigkeit von ML-Systemen ist nahezu unbegrenzt
Universal Approximation Theorem für 3-Layer MLP, LSTM‘s sind turing-mächtig
Notorische Probleme in der Praxis: Overfitting / Underfitting
Der „künstliche IQ“ hängt stark von der Verteilung der Trainingsdaten ab.
Machine Learning – Take Aways (2/2)
24
Externes BigData ist nicht immer zwingende Voraussetzung (-> Reinforcement Learning)
Die gestiegene Rechenleistung ist „lediglich“ notwendige Voraussetzung für den explosionsartigen Fortschritt (-> weltweite ML-Community, Milliarden-Investitionen der Tech-Giganten => Fortschritt auf Ebene der Architekturen und Algorithmen
Fazit:
Der In den letzten 3-4 Jahren gab es z.T. erstaunliche Durchbrüche, dennoch stehen wir erst am „Fuß des AI-Berges“. Bis zum Gipfel (General AI) könnte es länger dauern (als viele meinen).
„Narrow-AI“ Systeme sind praxisreif.
Links
25
Boston Dynamics – Atlas https://www.youtube.com/watch?v=6vYA8L_r850
Boston Dynamics – Door Opening Dog https://www.youtube.com/watch?v=wXxrmussq4E
Google Deepmind – RL Runner https://www.youtube.com/watch?v=gn4nRCC9TwQ
Google Assistant – Haircut Appointment Call https://www.youtube.com/watch?v=YCWJ0z6_z34
Top Related