PointScreen - Minority Report HCI

Interface für berührungslose Navigation

English Abstract

The PointScreen technology allows to control the computer by gestures. By pointing and moving digital artefacts on the screen users’ navigate through virtual environments – totally without contact. It looks like conducting. The PointScreen Technology has been developed in the context of artistic-experimental Interface-research headed by Monika Fleischmann and Wolfgang Strauss at MARS – Exploratory Media Lab of Fraunhofer IAIS and was inspired by the possibilities of the first electronic musical instrument, the Theremin.

In December 2007 the PointScreen® solution got a US patent. The patent number is 7312788. The title of the patent is: Gesture-based input for a user interface of a computer. The interface refers to pen computing, a computer user-interface, that uses a pen, pointing/locator input or gesture recognition, rather than devices such as a keyboard and a mouse.

PointScreen – Minority Report Interface (2003)

Die PointScreen-Technologie ermöglicht es, den Computer mit Gesten zu steuern und durch bloßes Zeigen auf den Bildschirm zu navigieren – völlig ohne Berührung. Es sieht aus wie Dirigieren und es ist kinderleicht. Die PointScreen-Technologie wurde im Rahmen der experimentell künstlerisch-wissenschaftlichen Interface-Forschung am MARS – Exploratory Media Lab des Fraunhofer IAIS entwickelt und war inspiriert von den Möglichkeiten des ersten elektronischen Musikinstruments, dem Theremin.

Technologie

Die PointScreen Bewegungsmessung (Tracking) basiert auf dem Prinzip der Messung elektrischer Felder (Electric Field Sensing). Sobald sich der Benutzer auf die Kontaktplatte stellt, wird ein schwaches elektrisches Feld um ihn herum aufgebaut. Jede seiner zeigenden Bewegungen erzeugt eine Veränderung der Spannungen innerhalb dieses Feldes. Diese Information nutzt das System, um die Position zu berechnen, auf die der Benutzer zeigt. Es passt sich selbstständig an jeden Benutzer an (automatische Kalibrierung).

Das PointScreen-System ist eine neuartige Mensch-Maschine-Schnittstelle, die an einen handelsüblichen Computer angeschlossen werden kann und für Bildschirme oder Projektionsflächen jeder Größe geeignet ist. Es ist Plug&Play-fähig und durch seine intuitive Nutzbarkeit einfach zu bedienen.

PointScreen macht Maus und Tastatur überflüssig. Es werden keine teuren Kameras oder Infrarotsender benötigt und kein empfindliches Zubehör wie Datenhandschuhe eingesetzt.

Mögliche Anwendungen

Das PointScreen™-System kann überall da eingesetzt werden, wo eine kontaktlose, vor Zerstörung sichere Nutzung bei unbeobachtetem Publikumsverkehr gewünscht ist – z.B. die Point Of Interests auf Messen. Weitere denkbare Anwendungsmöglichkeiten sind in der Rehabilitations-Technik zu sehen: Patienten, die nach Verletzungen bestimmte Bewegungsabläufe und gezielt Muskelgruppen trainieren können. Des Weiteren ist eine Verwendung in der zukunftsweisenden, interaktiven Spiele-Industrie sowie für Musiker oder Perfomance-Künstler denkbar.

• Point of Interest (POI) auf Messen oder Ausstellungen: Neuartiges Interface-Design und neuartige Navigations-Technologie wecken den Spieltrieb
• Interaktives Schaufenster: Eingabe- und Informationssystem für Räume mit hohem Publikumsverkehr, wie Kaufhäuser, Marktplätze oder Flughäfen: Die Technologie ist vandalismussicher und verschleißarm
• Eingabesystem in Reinst-Räumen und Operationssälen: Keim- und Staubfreiheit durch glatte Oberflächen
• Urbane Informationssysteme und interaktive Stadtmöbel: Robuste, flexibel in die Umgebung integrierbare Interfacearchitektur
• Interface für Spiele und Spielkonsolen, für Musik und Performance.

Video

[ www.youtube.com/eCultureFactory ]
[ “Video “PointScreen mit Bilder-Matrix und virtueller Lupe im ZKM (2006) | Real Media | 1:21 Min. ]

Patent

Fleischmann, Monika; Strauss, Wolfgang; Li, Yinlin; Groenegress, Christoph “Gesture-based input device for a user interface of a computer”, United States Patent 7,312,788 B2, December 25, 2007. Die PointScreen-Technologie wurde am 25.12.2007 vom US-Patentamt als Gesture-based input device for a user interface of a computer unter dem Kennwort ECCO geschützt.
Gesture input whiteboard, technology similar to Theremin electrostatic device. Hardware/Software patent on electrostatic/capacitive non-contact digitizer, similar in principle to a theremin, to sense in-air gestures, capacitive sensing. Requires use to stand on on a grounding pad or reference pad. Hardware for iPoint device from Fraunhofer Institute IAIS.

Anwendung: Die »Info-Jukebox«

Die Info-Jukebox ist ein digitales Kiosk-System, das einen berührungslosen Zugang zu multi-medialen Inhalten ermöglicht. Sie zeigt eine Auswahl von Videoclips zu einzelnen Projekten des Fraunhofer IAIS – MARS Exploratory Media Lab sowie seiner Artists-in-Residence Produktionen.

Anwendung: Das »Interaktive Plakat«

Das Interaktive Plakat ist eine multimediale Interpretation des klassischen Plakats. Ohne auf die gewohnte plakative Darstellung zu verzichten, erweitern interaktive Schnittstellen und bewegte Bilder das Kommunikationspotential. In Verbindung mit der am Fraunhofer IAIS entwickelten PointScreen-Technologie entsteht daraus ein berührungsloses Informationsterminal, das die Themen, Motive und Schlagworte der elektronischen Kultur in Szene setzt. Durch Bewegung interagieren die Zuschauer mit den Textobjekten und deren Gestalt. Information wird zum Spiel mit dem Wissen des Betrachters.

[ Pointscreen Info ]
[ Projektblatt »Interaktives Plakat« Deutsch | PDF | 1,6 MB ]
[ Projektblatt »Interactive Poster« English | PDF | 1,6 MB ]

Anwendung: »Digital Sparks Matrix« mit virtueller Lupe

Die Digital Sparks Matrix ist eine interaktive Installation zum Durchstöbern und Recherchieren multimedialer Projekte. In einer Bilder-Matrix, dem graphischen Interface der Installation, ist jedes Projekt durch ein Bild repräsentiert. Informationen zu den einzelnen Projekten können durch einfache Gesten abgerufen werden: Mit einer Bewegung des Armes schiebt der Betrachter eine virtuelle Lupe über die Bild-Matrix. Zeigt er länger auf ein Bild, startet ein kurzer Film zum ausgewählten. Diese gestenbasierte, berührungslose Interaktion ermöglicht die PointScreen-Technologie, die insbesondere für den Einsatz in öffentlichen Räumen entwickelt wurde. Die „Digital Sparks Matrix“ ist eine räumliche Inszenierung digitaler Informationen und zeigt modellhaft einen neuen Zugang zu Datenbanken.

Der PointScreen gehört wie die Semantic Map und das Interaktive Plakat zu den “wegweisenden Ideen” – die von dem Nobelpreisträger und Physiker Theodor W. Hänsch in seiner Publikation 100 Produkte der Zukunft 2007 vorgestellt wurden.

Autoren + Prototypenentwicklung Vers. 1 (2003-05)

Wolfgang Strauss, Monika Fleischmann, Yinlin Li, Christoph Groenegress

Realisierung Vers. 2 (2005 – 2007)

Predrag Peranovic, Technische Leitung
Jens Muuss, Micro-Prozessor-Steuerung
Harald Gress, Printed Circuit Board-Design (PCB)
Bernd Kolbeck, Mensch-Maschine-Kommunikation
Rainer Liesendahl, Medienintegration und Kommunikation

Technische Umsetzung (2008/09)

Berthold Kirsch, Fraunhofer IAIS

Publikationen

Strauss, W.; Fleischmann, M., Denzinger, J., Groenegress, C., Li, Y. (2003): Information Jukebox – A semi-public device for presenting multimedia information content.. In: Personal and Ubiquitous Computing. Proc. of 1st International Conference on Appliance Design 03, Springer London, GB 2003, pp. 217-220.

Li, Y.; Groenegress, C.; Strauss, W.G.; Fleischmann, M. (2004): Gesture frame – a screen navigation system for interactive multimedia kiosks. In: Camurri, A. (ed). Gesture-based communication in human-computer interaction: 5th International Gesture Workshop, GW 2003, Genova, Italy, April 15 – 17, 2003; selected revised papers. Berlin: Springer, 2004 (Lecture Notes in Artificial Intelligence 2915) ISBN: 3-540-21072-5. S.380-385

Referenzen

• Pen-Computing 2005: [FleischmannM07a] (*) Fleischmann, Monika; Strauss, Wolfgang; Li, Yinlin; Groenegress, Christoph “Gesture-based input device for a user interface of a computer”, United States Patent 7,312,788 B2, December 25, 2007
  Hardware patent on electrostatic/capacitive non-contact digitizer, similar in principle to a theremin, to sense in-air gestures. Requires use to stand on on a grounding pad or reference pad. Hardware for iPoint device from Fraunhofer Institute IAIS. Includes one claim relating to detecting termination of a gesture by not moving.
• Pen-Computing 2005: [Strauss06] (*) Strauss, Wolfgang; Fleischmann, Monika PointScreen: Interaktion ohne Beruehrung, netzspannung.org: MARS Projekte.
  Gesture input whiteboard from Fraunhofer Institute, technology similar to Theremin electrostatic device. In-air gestures, capacitive sensing.
• Pen-Computing 2004: [FleischmannM04a] (*) Fleischmann, Monika; Strauss, Wolfgang; Li, Yinlin; Groenegress, Christoph “Gesture-based input device for a user interface of a computer”, European Patent EP1457863, September 15, 2004. Software Patent on electrostatic/capacitive non-contact digitizer, similar in principle to a theremin, to sense in-air gestures.
• Fraunhofer06. PointScreen: Wie von Zauberhand, Fraunhofer Magazin, January 2006”:http://www.fraunhofer.de/publikationen/fraunhofer-magazin/2006/Magazin1.2006b.jsp, pp 16-18.
• Innovationsreport05. PointScreen: Interaktion ohne Beruehrung”

Links

[ PointScreen auf netzspannung.org ]

Kontakt

Monika Fleischmann
Wolfgang Strauss

Fraunhofer IAIS – MARS Exploratory Media Lab