Previous
Next

In Zusammenarbeit mit der Hochschule Offenburg hat Realtime Visions im Rahmen eines ZIM Forschungsprojektes das multisensorenbasierte skalierbare EmotionSensor3D System entwickelt. Dieses bietet die Möglichkeit, Produkte und Dienstleistungsangebote im Groß- und Einzelhandel mit Kunden sowohl virtuell als auch real zu testen.

DATEN ERFASSEN UND AUSWERTEN

Im Raum werden Sensoren aufgestellt. Ein Laserscanner erstellt mittels einer oder mehrerer fusionierter 3D-Punktewolke Aufnahmen eine 3D Repräsentation der realen Umgebung.

Am Probanden selbst befindet sich ein mobiles Sensor System. In der Kombination werden Positionen, Posen, Mimik, Gestik und Hautleitwert zeitlich synchronsiert erfasst und ausgewertet.

Zur Auswertung kommen unter anderem Deep Learning Methoden, OpenCV Funktionen, Kinect 2 SDK Funktionen und weitere Frameworks von Drittanbietern zum Einsatz. Alle Sensoren werden zueinander in Beziehung gesetzt und in der 3D Repräsentation verortet.

POSITION, GESTIK UND MIMIK DES PROBANDEN BESTIMMEN

Mittels Eye-Tracking wird die Blickrichtung des Probanden im Raum festgestellt. Ein Sensor zur Messung des Hautleitwerts dient zur Einschätzung des aktuellen Stresslevels.

Je nach Größe und Beschaffenheit des realen Raumes erfassen mehrere Kombinationen aus Gigabit Ethernet Kameras und Kinect 2.0 Sensoren den Probanden aus unterschiedlichen Blickwinkeln. Daraus können seine Position, Gestik und Mimik bestimmt werden.

Zusätzlich können an Hotspots weitere Farbkameras aufgestellt werden, um die Mimikauswertung an diesen Positionen genauer zu erlauben. Alle Sensoren werden in die 3D Repräsentation aus den Laserscans kalibriert.

3D Position Tracking

Auf Basis mehrerer Gigabit Ethernet Kameras und mehrerer Kinect 2.0 Sensoren wie auch auf den fusionierten Ergebnissen beider werden Personen in realen Räumen in Echtzeit getrackt.

 

Sensor Datenfusion

Die Daten von Kinect 2.0 Sensoren, Gigabit Ethernet Kameras, 3D Laserscans, Farbkameras zur Mimik Erkennung, Sensoren zur Hautleitmessung werden fusioniert, zeitlich synchronisiert und räumlich zueinander in Beziehung gesetzt.

 

Fakten

Via / Hochschule Offenburg

Für / ZIM Forschungsprojekt

Jahr / 2014 - 2016

Breich / Biomotion & Serious Apps

Services / 

Konzeption / Design / Software Entwicklung / Tracking

Fotos: Realtime Visions

KOBLENZ
  • RV realtime visions GmbH
  • Wallersheimer Weg 50
  • 56070 Koblenz, Germany
KÖLN
  • RV realtime visions GmbH
  • Balthasarstraße 81
  • 50670 Köln, Germany