Stellen wir uns vor: Du machst mit deinen Freunden einen Ausflug in den Wald. Ihr habt euch getrennt, du stehst alleine am Rande einer Lichtung. Plötzlich machst du einen von Ihnen zwischen zwei Bäumen aus. Dein Display zeigt dir an: Er ist 52 m entfernt, also in Reichweite deiner Lightning gun. Du zielst, Laserblitze zucken durchs Unterholz. Verfehlt! Die Antwort deines Freundes, für die nächsten zwei Stunden jedoch dein erbitterter Gegner, lässt nicht lange auf sich warten. Vor dem einsetzendem Plasmagranatenhagel flüchtest du hinter einen Stapel gefällter Baumstämme. Der auf dem nahen Waldweg vorbeikommende Jogger scheint von dem Gemetzel wenig beeindruckt...
Diese etwas futuristische „Paintball“-Variante ist nur ein Beispiel einer Vielzahl von Anwendungen, die durch "Augmented Realities", in Zukunft möglich werden können. Was jedoch ist eigentlich Augmented Reality?
"Augmented Realities", „erweiterte Realitäten“, entstehen, indem Computer die vom Menschen wahrgenommene Ansicht der realen Welt in Echtzeit mit computergenerierten Inhalten überlagern, wobei diese Inhalte kontextsensitiv erweiterte Informationen zur Gegenständen der Realität liefern. Seit dem Aufkommen von 3-D Grafik in Computern wurde geforscht, wie computergenerierte Welten mit der tatsächlichen Welt verbunden werden können. Diese Forschungen begannen bereits in den 60er Jahren und erlangten seit 1990 zunehmend an Bedeutung mit der Abhaltung von internationalen Konferenzen und der Gründung von Organisationen, die sich mit "Augmented Realities" beschäftigen, wie der ARVIKA Konsortium in Deutschland. Milgram definiert "Augmented Realities" als Stufe auf einer Skala der „Mixed realites“, die den Übergang von realer Umwelt bis zur virtuellen beschreibt: „Real environment“, „Augmented reality“, „Augmented virtuality“ und schließlich „Virtual environment“ . "Augmented Realities" unterscheiden sich somit vom Forschungsbereich „Virtual Realities“, die ausschließlich vom Computer generierte virtuelle interaktive Welten betrachten. Augmented Realties unterscheiden sich ebenfalls von z.B. Greenscreen-Anwendungen bei Film und Fernsehen durch den Interaktivitätsaspekt. Kazuma definiert folgende Kriterien für "Augmented Realities": die Kombination von Realität und virtueller Realität, Interaktion in Echtzeit und der dreidimensionale Bezug von realen und virtuellen 3-D-Objekten. Um die Fusion von realer und virtueller Welt möglich zu machen, konzentrieren sich die "Augmented Realities" gegenwärtig nur auf die visuelle Wahrnehmung, da andere Sinneswahrnehmungen von dieser überdeckt werden können. Das Gehirn erachtet die visuellen Informationen als wichtiger als z.B. auditive oder kinästhetische Informationen, dieser Effekt ist als „Visual Capture“ bekannt. (s. Benutzerzentrierte Gestaltung ...). In anderen Definitionen werden "Augmented Realities" ganz allgemein als Erweiterung des menschlichen Sinneswahrnehmung durch Sensoren verstanden. Unter diesen Verständnis fallen dann auch Techniken, wie Infrarot, Radar, uvm. Manchmal werden auch Geräte, die nur virtuell existieren, aber auf Benutzereingaben reagieren, zu "Augmented Realities" dazugezählt, wie die Lasertastatur, die auf z.B. eine Tischfläche projiziert wird und wie eine normale Tastatur verwendet werden kann.
Anwendungsbereiche der „Augmented Realities“ sind prinzipiell endlos. Azuma stellt einige mögliche Anwendungsbereiche vor: In der Architektur könnten zu bauende Gebäude am Bauort selbst visualisiert werden, in der Medizin würden die virtuellen Bilder einen „Röntgenblick“ in den menschlichen Körper ermöglichen, wobei Operationen genauer und minimalinvasiv durchgeführt werden könnten. In der Industrie ermöglichen "Augmented Realities" eine leichtere Planung und Montage. Zur Navigation finden "Augmented Realities" bereits Anwendung, z.B. werden in Autos bei der GPS-Navigation Richtungspfeile werden direkt auf die Windschutzscheibe projiziert, beim Militär nutzen Jets Head-Up-Displays zur Anzeige der Informationen, Auch sonst ist das Militär an der Forschung intensiv beteiligt, um Soldaten der Zukunft zu ermöglichen, Geländeinformationen, Feindpositionen, uvm. beim Einsatz immer im Blick zu behalten. Schließlich ermöglichen "Augmented Realities" auch neue Anwendungen im Bereich der Unterhaltungsindustrie, wie das zur Einführung beschriebene Spiel, das in einer noch recht einfachen Form als Universitätsprojekt „ARQuake“ bereits existiert.
Ein Augmented Reality System besteht aus mehreren Komponenten. Diese können je nach Anwendungsfall verschieden sein, z.B. hat ein stationäres System andere Anforderungen als ein mobiles. Im Fall eines mobilen Systems, das vom Benutzer getragen wird, besteht dieses aus einem GPS-Sensor zur Positionsbestimmung, einen Tracker zur Bestimmung der Blickrichtung, einem mobilem Computer mit entsprechender Software und einem Head-Mounted-Display (HMD), welches das Sichtfeld des Benutzers mit erweiterten Informationen anreichert. HMDs können in zwei Typen eingeteilt werden: optische („optical see-through“) und videobasierte („video see-through“) Geräte. Während bei einem „optical see-through“ HMDs der User durch die halbdurchlässigen Displayspiegel eine fast ungehinderte Sicht auf die Welt hat, ist die Sicht des Trägers eines „video see-through“ Displays völlig abgeschirmt. Er sieht nur, was eine Kamera, die auf dem HMD moniert ist, aufnimmt. Jeder Displaytyp hat hierbei spezifische Vor- und Nachteile für den Benutzer, auf die im folgenden noch eingegangen wird. Ein weiterer viel versprechender Ansatz, der viele Nachteile der beiden Typen beseitigt, ist das „Retinal Scanning Display“, das aber noch nicht als Prototyp existiert). Generell sind auch nicht am Kopf monierte Displays möglich, so können mobile Geräte (PDAs) mit Kamera als „Lupe“ oder „Fenster“ verwendet werden, in dem die Zusatzinformationen sichtbar sind.
Während sich die Forschung im Bereich der "Augmented Realities" lange nur dem technikorientierter Sicht verschrieben hat, wird mittlerweile auch der zukünftige Anwender in den Fokus gerückt. Es wurden Studien mit "Augmented Realities", die Arbeitsabläufe erleichtern sollen, durchgeführt, wobei die Reaktionen der Anwender untersucht wurden. Aber nicht erst in diesen Studien zeigte sich, dass bis "Augmented Realities" breite Anwendungen finden, noch eine Reihe von Problemen gelöst werden müssen.
TrackingEines der Hauptprobleme ist das Tracking, also die Bestimmung von Position und Blickrichtung des Benutzers und die entsprechende Kalibrierung, so dass die Aufnahmen bei Bewegungen des Betrachters mit den generierten Inhalten in Position, Winkel, usw. übereinstimmen Es wird häufig eine Kombination von verschiedenen Trackingtechniken eingesetzt, um Schwächen einzelner Systeme zu kompensieren z.B. Beschleunigungssensoren, visuelles Tracking und GPS. Bei visuellem Tracking werden Markierungen (z.B. LEDs) an bekannten Positionen verteilt. Hierbei besteht das Problem, dass zu jedem Zeitpunkt mindestens eine Markierung im Blickfeld sein muss, da sonst das System zusammenbrechen kann. Weiterhin ist in Außenarealen die Platzierung von expliziten Markierungen oft nicht möglich, weshalb an verschieden Algorithmen zur Mustererkennung geforscht wird. Somit kann beispielsweise die Silhouette des Horizonts als Hinweis verwendet werden. Bei Tracking ist die geringe Genauigkeit (5 – 30m) hinderlich, zudem wird freie Sicht auf den Himmel benötigt. Durch differentielles GPS kann die Genauigkeit aber auf bis 50cm erhöht werden. Durch das Tracking und in allem weiteren Schritten (Berechnung des virtuellen Bildes) des Augmented Reality Systems entstehen Verzögerungen. Diese sind mit der Hauptgrund für die Zerstörung der Illusion beim Benutzer, da die virtuellen Bilder den realen „hinterherhinken“ und somit keine Deckungsgleichheit mehr besteht. Dieser Effekt ist besonders bei schnellen (Kopf-)bewegungen sichtbar. Vorhersagealgorithmen sollen diesen Effekt mindern.
DisplaysBei den heute verfügbaren HMD gibt es noch einiges zu verbessern, damit diese längere Zeit getragen werden können. Beispielsweise wird das in HMDs übliche enges Sichtfeld (Field-of-View, FOV) als unangenehm empfunden, ein höherer Wert (90°) als angenehmer und natürlicher. Allerdings entstehen bei höherem FOV Verzerrungen am Rand des Sichtfeldes, die mit optischen Systemen oder Softwarealgorithmen beseitigt werden müssen. Generell besteht bei allen HMDs noch Probleme bezüglich Fokus und Kontrast. So sind die virtuellen Bilder bei hellem Tageslicht schwer zu erkennen, während diese bei Dunkelheit oftmals zu hell sind und die Sicht auf die Realität erschweren. Azuma stellt weitere Vor- und Nachteile bei den „optical-“ bzw. „video see-through“ Displays vor. Als Nachteile des „video see-through“ gelten einerseits die Verzögerungen („Lags“), die bei einer Positions- oder Kopfbewegung des Benutzers technikbedingt entstehen, weiterhin ist die Auflösung und das Sichtfeld auf das der Kamera beschränkt. Unter Umständen geht bei der Verwendung von nur einer Kamera auch die Tiefenwahrnehmung verloren. Dafür können die Kamerabilder, also Bilder der realen Welt leichter an die virtuellen Bilder angepasst werden, dem User erscheint die Diskrepanz nicht so deutlich wie bei einem „optical see-through“ HMD. Zudem besteht bei optischen HMDs das Problem, das virtuelle Objekte die Sicht auf reale Objekte nicht vollkommen verdecken können. Virtuelle Objekte erscheinen dem Träger des HMDs deshalb immer mehr oder minder transparent, wodurch die Illusion beeinträchtigt wird. Besonders bei dunklen virtuellen Objekten ist dieser Effekt zu beobachten. Dafür hat dieses wiederum den Vorteil des leichteren Gewichtes (keine Kamera notwendig), der höheren Auflösung und dem damit verbundenen natürlicheren Bildeindruck. Ein weiterer Unterschied, der durchaus die Benutzerakzeptanz beeinflussen kann, ist der Sicherheitsaspekt: Fällt beim „video see-through“ der Strom aus, ist der Benutzer „blind“, während beim Nutzer des „optical see-through“ lediglich die Zusatzinformationen im Blickfeld entfallen.
InteraktionEine weitere wichtige Frage, die erst seit kurzer Zeit von der Forschung untersucht wird, ist, wie eine effiziente Interaktion des Users mit dem Augmented Reality System gestalten werden soll. Dazu man muss sich fragen, wann welche Eingabegeräte zu verwenden sind bzw. inwieweit neue Bedienkonzepte entwickelt werden müssen. Dr. Piekarski stellt in seiner Dissertation beispielsweise die Interaktion durch Gestik mit speziellen Handschuhen vor. Gegenwärtig zeichnen sich zwei Trends in der Forschung ab: einerseits die Verwendung von heterogenen Geräten, je nach Display und Aufgabe (z.B. ein Tablet-Display für Textbearbeitung), und andererseits das interessantere Konzept der „Tangible Interfaces“, bei dem der Benutzer direkt mit der physischen Welt interagiert, beliebige Objekte können so zur Interaktion verwendet werden. Auch die Benutzeroberflächen müssen den Anforderungen der "Augmented Realities" genügen. In Studien zeigte sich, dass eine eine kontextsensitive, der räumlichen Position und der Arbeitsaufgabe angepasste Darstellung von Informationen und Funktionen gegenüber einer traditionellen hierarchischen Bedienstruktur die Nutzung durch den Anwender deutlich erleichtert wird. Untersucht werden muss weiterhin, welche Informationen überhaupt für den Anwender relevant sind und welche somit angezeigt werden sollen. Auch die Menge an Informationen, die der Benutzer sehen soll und deren Darstellungsform bleibt Thema der Forschung. Durch die von "Augmented Realities" geforderte Mobilität wird auch die Sprachsteuerung interessant, welche aber in derzeit durchgeführten Studien noch schlecht funktioniert, Probleme bereiten vor allem Umgebungsgeräusche und verschieden Dialekte der Anwender.
Speziell im Bereich der mobilen Anwendung ist Ergonomie sehr wichtig. Die Vielzahl an Geräten bedeutet ein hohes Gewicht. Für eine breite Anwendung ist Wert darauf zu legen, dass die Geräte bequem getragen werden können. Die fortschreitende Miniaturisierung im Bereich der Technik kommt diesem Aspekt entgegen. Weiterhin stellt derzeit noch die Energieversorgung ein großes Problem dar. Für einen alltäglichen Einsatz mit einer Laufzeit eines üblichen Arbeitstages reicht keine derzeit verfügbare tragbare Energiequelle. Hier müssen noch z.B. leistungsfähigere Akkus oder neue Konzepte der Energieversorgung entwickelt werden.
Wie gezeigt bestehen noch eine Reihe von Hürden, die bewältigt werden müssen, damit "Augmented Realities" hohe Verbreitung finden. Sind diese jedoch bewältigt, bergen "Augmented Realities" große Potentiale in der Arbeitswelt. Bis "Augmented Realities" auch für den Endverbraucher Realität werden und damit das Anfangs beschriebene Szenario möglich wird, dürfte es noch eine Weile dauern. Nicht zuletzt sind bei der Einführung von "Augmented Realities" auch gesellschaftspolitische Aspekte zu berücksichtigen, die noch nicht bedacht wurden. Bereits heute gibt es Diskussionen, ob der Mensch die Virtualität ausreichend von der Realität trennen kann, siehe die Diskussionen über Computerspiele. Wie wird sich die Wahrnehmung von Realität verändern, wenn eines Tages "Augmented Realities" den Alltag des Menschen beherrschen?
Azuma, Ronald T., "A survey of Augmented Realitiy" (1997), http://www.cs.unc.edu/~azuma/ARpresence.pdf
Azuma, Baillot, Behringer, Feiner, Julier, MacInyre, "Recent Advances in Augmented Reality" (2001), http://www.cs.unc.edu/~azuma/cga2001.pdf
Schmidt, Oehme, Wiedenmaier, Beu, Queaet-Faslem, "Usability Engineering für Benutzer-Interaktionskonzepte von Augmented-Reality-Systemen" (2002), http://www.iaw.rwth-aachen.de/download/publikationen/12271_schmidt.pdf
Thomas, Krul, Close, Piekarski, "Usability and Playability Issues for ARQuake" (2002), http://www.tinmith.net/papers/thomas-iwec-2002.pdf
Piekarski, W., "Interactive 3D Modelling in Outdoor Augmented Reality Worlds" - Chapter 5: User Interface (2004), http://www.tinmith.net/wayne/thesis/piekarski-ch5-ui.pdf