AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse...

16
Mario Wolf, M.Sc. AI-Studienprojekte (SoSe 2016)

Transcript of AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse...

Page 1: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

Mario Wolf, M.Sc.

AI-Studienprojekte (SoSe 2016)

Page 2: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 2

Themenübersicht

Android Wear Steuerung einer IoT-Plattform (ThingWorx) mit Android Wear Geräten

(Projektnummer 22)

Raspberry Pi Client/Server-Kommunikation über Websockets unter Windows 10 IoT Core

(Projektnummer 23)

Augen für ThingWorx / Einbindung von Kamerabildern in IoT-Anwendungen(Projektnummer 24)

Augmented Reality Betriebsdatenvisualisierung mit Vuforia in AR und VR

(Projektnummer 25)

Page 3: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 3

Allgemeines für alle Projekte

Zeitplanung

Beginn: Meeting Ende März zur initialen Planung

Ende: Abgabe am 29. Juli im Prüfungsamt.

D.h. am 22. Juli muss eine finale Ausarbeitung (digital) vorliegen

Organisation

Ausarbeitung eines Projektplans bis Anfang April

Meetings zu festgelegten Meilensteinen und nach Bedarf

Page 4: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 4

Ausgangssituation / Motivation

Im Rahmen von Industrie 4.0 und dem Internet of Things sollen „alle Dinge“

miteinander Kommunizieren können

Windows 10 IoT Core ist Microsofts Betriebssstem für Embedded Systeme, die im IoT

angesiedelt sein sollen

Eine mögliche Hardwareplattform besteht z.B. mit dem Raspberry Pi

Dieser setzt üblicherweise auf Linux-basierte Betriebssysteme

Motivation zu diesem Projekt soll es sein, eine einfache Art des

Nachrichtenaustauschs zwischen zwei Applikationen auf zwei unterschiedlichen

Systemen herstellen

Windows 10 IoT Core und Webservices/WebsocketsProjektnummer 22

Page 5: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 5

Windows 10 IoT Core und Webservices/WebsocketsProjektnummer 22

Aufgabenstellung

Es soll eine Applikation entwickelt werden, die in der Lage ist über Websockets und

REST Webservices…

eine Verbindung von einem PC (Client) zu einem IoT-Gerät (Server) aufzubauen

eine Verbindung von einem IoT-Gerät (Client) zu einem PC (Server) aufzubauen

Textnachrichten zu senden und zu empfangen

Datenstreams zu senden und zu empfangen

Auf beiden Seiten soll eine Möglichkeit zur Anzeige der eingangenen Nachrichten

bestehen

Use-Case

Senden von Benachrichtigungsmeldungen, bestehend aus Text und Icon, von einem

PC zu einem IoT-Gerät mit Anzeige der Meldung

Page 6: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 6

Rahmenbedingungen

Erwartete Fähigkeiten: Objektorientierte Programmierung, C#-Kenntnisse

Studierende: Bachelor- oder Master

1: Websocket Implementierung

2: Websocket und Webservice Implementierung

(bei 3 Interessenten Erweiterung der Aufgabenstellung um Webapplikation)

Bereitgestellte Hardware:

Raspberry Pi 2 mit Windows 10 IoT Core

Windows 10 Convertible mit Visual Studio 2015

Windows 10 IoT Core und Webservices/WebsocketsProjektnummer 22

Page 7: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 7

Einbindung von Kamerabildern in IoT-Anwendungen Projektnummer 23

Ausgangssituation / Motivation

IoT Plattformen wie PTC Thingworx dienen als Integrationsplattformen für vielfältige

Daten zu individuellen Produkten

Neben offensichtlichen Daten wie Sensorwerten, Position, Lage und operativem

Zustand können weitere Daten für den Betrieb von Anlagen relevant sein

In diesem Projekt soll die IoT Plattform zusätzliche Informationen über die Umgebung

einer Anlage sammeln können. In diesem Fall Kamerabilder aus der Umgebung einer

Anlage

Page 8: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 8

Einbindung von Kamerabildern in IoT-Anwendungen Projektnummer 23

Aufgabenstellung

Es soll eine Anwendung entwickelt werden, die …

Kamerabilder aufnehmen kann

die auf verschiedene Ereignisse mit einer Aufnahme reagiert (GPIO-

Port/Webservice)

verschiedene Kameras nutzen kann (z.B. Pi-Cam und Webcam)

Diese Bilder an PTC Thingworx senden kann (REST Webservice)

In PTC Thingworx soll ein Dashboard (webbasierte GUI) eingerichtet werden, die die

entsprechenden Bilder samt Informationen zur Auslösung darstellt und archiviert

Page 9: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 9

Einbindung von Kamerabildern in IoT-Anwendungen Projektnummer 23

Rahmenbedingungen

Erwartete Fähigkeiten: Objektorientierte Programmierung, je nach Implementierung

Python- oder C#-Kenntnisse, ein wenig Javascript für Thingworx

Anzahl Studierende:

1-2 (Bachelor- oder Master)

Bereitgestellte Hardware:

Raspberry Pi 2 mit Raspian oder Win 10 IoT core

Pi-Cams

Webcams

Für Custom-Gehäuse steht ein 3D-Drucker bereit

Page 10: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 10

Befehle an ThingWorx von Android Wear GerätenProjektnummer 24

Ausgangssituation / Motivation

PTC Thingworx bietet die Möglichkeit Services in Javascript zu definieren

Diese Services können die verwalteten Entitäten (Things/Digital Twin/digitale

Repräsentationen von realen Produkten) manipulieren

Die Things können durch die Services weitere Funktionen erhalten und durch

Schnittstellen nach außen auch mit anderen Systemen kommunizieren

In diesem Projekt soll die Einflussnahme von außen auf den digitalen Zwilling

umgesetzt werden

Die Veränderung des Zustands des Things hat in einem unserer Usecases eine direkte Auswirkung auf

die Schaltung der physikalischen Maschine. Eventuell kann im Zuge des Projekts die Portierung des Test-

Falls auf unseren bereits bestehenden Fall erfolgen.

Page 11: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 11

Befehle an ThingWorx von Android Wear GerätenProjektnummer 24

Aufgabenstellung

Es soll eine Android Applikation entwickelt werden, die abhängig von den Rückgaben

aus Thingworx eine „Fernbedienung“ auf einer SmartWatch darstellt.

Dabei soll es die folgenden „Elementtypen“ geben, die realen Bauteilen entsprechen

Einfacher Drucktaster

An/Aus-Schalter

Schieberegler mit variablem Wertebereich

Die so manipulierten Werte sollen an Thingworx übertragen werden (REST

Webservice)

Use-Case:

Auswahl einer Maschine auf Android App

Thingworx meldet die möglichen Manipulationsmöglichkeiten

Die App stellt diese als entsprechende Interaktionselemente auf der Smartwatch dar

Page 12: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 12

Befehle an ThingWorx von Android Wear GerätenProjektnummer 24

Rahmenbedingungen

Erwartete Fähigkeiten: Objektorientierte Programmierung, Java, idealerweise

Erfahrung mit Android-App-Entwicklung, ein wenig Javascript für Thingworx

Anzahl Studierende:

1-2 (Bachelor- oder Master)

Bereitgestellte Hardware:

Android Tablet

Android Wear Smartwatch

Page 13: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 13

Betriebsdatenvisualisierung mit Vuforia in AR und VRProjektnummer 24

Ausgangssituation / Motivation

Virtual Reality und Augmented Reality bieten eine höhere Informationsdichte als

simple textuelle Darstellungen von z.B. Sensorwerten oder Arbeitsanweisungen

Deswegen nutzen wir Augmented Reality für die Verbesserung der Bedienbarkeit von

komplexen Systemen

Für die Nutzung unseres Testsystems haben wir eine AR-Applikation entwickelt, die

auf ein nicht mehr erhältliches SDK setzt

+ =

Page 14: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 14

Betriebsdatenvisualisierung mit Vuforia in AR und VRProjektnummer 24

Aufgabenstellung

Es soll eine Android Applikation entwickelt werden, die mit dem Vuforia SDK und einer

auszusuchenden Engine eine Augmented Reality Anwendung für das Testsystem

bildet

3D-Modelle sind bereits vorhanden

Es sollen einige Schüsseleigenschaften des hydraulischen Systems in der

Überlagerung angezeigt werden (z.B. der Schaltzustand der Ventile und Pumpen)

Die Daten können zunächst statisch sein und später auf eine bereits existierende Datenquelle zugreifen

Es soll eine Möglichkeit gefunden werden diese Daten nicht nur in Augmented Reality,

sondern auch in Virtual Reality zu visualisieren, d.h. ohne Kamerabild

D.h. statt der Informationen aus dem Vuforia SDK muss auf das Gyroskop des Tablets

zurückgegriffen werden

Page 15: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 15

Betriebsdatenvisualisierung mit Vuforia in AR und VRProjektnummer 24

Rahmenbedingungen

Erwartete Fähigkeiten: Objektorientierte Programmierung, Java, idealerweise Erfahrung mit

Android-App-Entwicklung, Grundlagen der Computervision

Anzahl Studierende:

2-3 (Bachelor- oder Master)

Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-

Implementierungen

Bereitgestellte Hardware:

Android Tablet

Testsystem in unserem Labor

(Optional iPad)

(Optional Windows Convertible)

Page 16: AI-Studienprojekte (SoSe 2016) - Institut für Neuroinformatik · Bei stärkerem Interesse Erweiterung der Aufgabenstellung um iOS- und Unity-Implementierungen Bereitgestellte Hardware:

ITM © | Studienprojekte SoSe16 16

Kontakt

Mario Wolf, M.Sc.

Ruhr-Universität BochumLehrstuhl für Maschinenbauinformatik Universitätsstraße 150 44801 Bochum

[email protected]