Verwendung der Eye Tracking Technologie in Softwareapplikationen
von Simon Stusak
1 Einführung
Unter Eye Tracking, in Deutschland auch Blickbewegungsregistrierung genannt, versteht man das Aufzeichnen der Blickbewegungen einer Person, also z.B. die Fixierung des Auges auf einen speziellen Punkt, aber auch kurze, sehr schnelle, fast schon ruckartige Bewegungen (Sakkaden).
Derzeit gibt es zwei unterschiedliche Techniken, um zu den benötigten Messergebnissen zu kommen. Man unterscheidet zwischen dem Remote Eye Tracker und dem Head-mounted Eye Tracker. Bei letzterem trägt die Testperson das System wie eine Art Helm auf dem Kopf, was für eine größere Mobilität sorgt, als dies beim Remote Eye Tracker oft möglich ist. Hier ist jedoch eine Versuchsdurchführung berührungsloser Messungen möglich, was grundsätzlich für die Testperson angenehmer ist.
Die Eye Tracking Technologie findet mittlerweile in vielen verschiedenen Softwareapplikationen Verwendung, wobei man hier in zwei Hauptkategorien unterscheiden kann. In die erste Kategorie zählen Anwendungen, die das Benutzerverhalten aufzeichnen und analysieren. Also beispielsweise die benutzerfreundliche Bedienbarkeit von grafischen Oberfläche und Websites, aber auch die Wirkung von Printmedien, Werbung, Logos und Werbespots auf die Testperson. In der zweiten Kategorie befinden sich die interaktiven Applikationen. Hier kann der Benutzer entweder mit Hilfe seiner Augenbewegungen verschiedene Aktionen starten und Befehle ausführen oder aber die Applikation selbst reagiert in Echtzeit auf die Bewegungen des Auges.
Auch in der Medizin, z.B. bei Augen-Laserbehandlungen, gewinnt die Eye Tracking Technologie eine immer wichtigere Bedeutung, allerdings wird auf diesen Bereich nicht weiter eingegangen.
2 Softwareapplikationen
Anwendungen, die in die oben genannte zweite Kategorie fallen, befinden sich zwar derzeit noch fast alle in einer gewissen Versuchsphase, aber gerade deswegen gibt es hier viele verschiedene Ansätze und Ideen. Im Folgenden sind beispielhaft einige interessante Softwareapplikationen herausgegriffen, die alle die Eye Tracking Technologie nutzen, um einen gewissen Grad an Interaktion zu realisieren.
2.1 Lernsoftware [1]
Ein großes Problem beim so genannten E-Learning ist, dass der Benutzer relativ schnell seine Motivation und auch Konzentration verliert, wenn die Software die individuellen Bedürfnisse nicht erkennt, nicht auf persönliche Lernvorlieben reagiert oder generell nicht auf den Nutzer eingeht. Bei dieser Applikation wird unter Anwendung von Eye Tracking versucht eine gewisse Kommunikation zwischen Software und Nutzer entstehen zu lassen und dadurch eine angenehmere Lernumgebung zu schaffen. In diesem Fall wird die Eye Tracking Technologie sowohl zur direkten Interaktion, als auch zur Analyse genutzt.
Bei der Analyse werden über einen längeren Zeitraum Daten aufgezeichnet, um dann beispielsweise darauf schließen zu können, welche Themengebiete den Benutzer besonders interessieren und welche grafischen Oberflächen für ihn besonders geeignet sind.
Bei der Echtzeit-Interaktion wird versucht mit Hilfe der Daten zu ermitteln, was der Benutzer gerade tun möchte und ob er dabei z.B. Probleme hat, um ihm darauf hin direkt Tipps, Anweisungen oder sonstiges Feedback geben zu können.
Wenn ein Nutzer über längere Zeit eine bestimmte Stelle auf dem Bildschirm fokussiert, beispielsweise ein Bild, kann dies als eine Art Auswahl angesehen und weitere Informationen zu diesem Thema angezeigt werden. Dies ist ebenso bei einfachen Ja-Nein-Fragen möglich, wenn der Benutzer seine Augen länger auf eine der beiden Schaltflächen fokussiert. Eine weitere Möglichkeit zur Erkennung von Ja bzw. Nein ist auch die Bewegung der Augen bzw. des gesamten Kopfs von oben nach unten bzw. links nach rechts.
Die Augenbewegungen und die Pupillenausdehnung können auch Aussagen über die Konzentration eines Benutzers liefern. Wenn z.B. erkannt wird, dass die Augen des Nutzers ziellos auf dem Monitor umherwandern, können derzeit wichtige Inhalte hervorgehoben oder auch an anderen Stellen am Bildschirm positioniert werden, um den Fokus des Benutzers wieder auf sie zu richten.
Wenn der Nutzer des öfteren den Blick vom Monitor abwendet oder die Augenbewegung stark abnimmt, kann dies ein Zeichen für schwindende Motivation oder aufkommende Müdigkeit sein. In diesem Fall kann der Benutzer beispielsweise direkt nach seinem Befinden gefragt werden. Andere Möglichkeiten wären anzugeben, wie viel Zeit der Nutzer noch aufbringen muss, um die Lektion fertig zu bearbeiten oder sogar komplett auf ein neues Themengebiet zu wechseln.
Bei dieser Anwendung wurde versucht die Interaktion mit Hilfe von einzelnen Charakteren und deren Verhalten und Emotionen zu unterstützen. Die Charaktere handelten direkt auf Basis der durch Eye Tracking ermittelten Daten und redeten mit den Benutzern, liefen über den Bildschirm um bestimmte Inhalte hervorzuheben und gaben sonstiges Feedback unterstützt von emotionalen Gesichtsausdrücken. Nach Ergebnissen der ersten Nutzerstudie wurden die Charaktere und deren Tipps und Verhalten als hilfreich empfunden, außerdem hätte man sich dadurch besser auf die Lerninhalte konzentrieren können.
2.2 Eingabe von chinesischen Schriftzeichen [2]
Die Eingabe von Texten mit der Tastatur in einer Sprache, die nicht auf einem Alphabet aufbaut, ist eine große Herausforderung auf dem Feld Mensch-Maschine-Interaktion. In diesem Fall wurde versucht die Eingabe von chinesischem Text zu verbessern. Als Grundlage wurde die in China weit verbreitete phonetische Umschrift Pinyin verwendet, welche als Basis das lateinische Alphabet hat. Das größte Problem bei chinesischen Schriftzeichen ist, dass die einzelnen Zeichen sehr ähnlich klingen und daher im Durchschnitt eine Silbe mit fast 17 Zeichen übereinstimmt. In der Software selbst wird dies durch Anzeigen mehrerer Zeichen realisiert. Gibt der Nutzer also das Pinyin eines Zeichens ein, zeigt die Software ihm die unterschiedlichen Zeichen mit derselben Betonung an. Diese waren bisher von eins an durchnummeriert, wodurch der Benutzer mit Hilfe der Zahleneingabe das gewünschte Zeichen auswählen konnte. Wenn viele verschiedene Zeichen zur Auswahl standen, wurde es nötig auf weitere Seiten zu navigieren. Nach Ansicht der Entwickler ist diese Multiple-Choice-Auswahl der entscheidende Punkt, weshalb die Eingabe von chinesischen Schriftzeichen langsamer ist, als beispielsweise die Eingabe von englischem oder deutschem Text. Grundsätzlich lässt sich also die Eingabe von chinesischen Schriftzeichen mittels Pinyin auf vier Aufgaben einteilen. Erstens muss das Pinyin des Zeichens gebildet und als zweites dieses eingegeben werden. Punkt Nummer drei ist die Suche des gewünschten Zeichens auf dem Bildschirm und als Letztes erfolgt die Auswahl per Tastatureingabe. Es wurde jetzt versucht mittels der Eye Tracking Technologie die Zeit für die Punkte drei und vier zu minimieren. Die Idee ist den Zeitpunkt der Auswahl weiterhin per Tastatur zu steuern, allerdings durch den Druck einer gebräuchlichen Taste, wie beispielsweise der Leertaste, das Auswählen des Zeichens jedoch mit Hilfe des Eye Tracking zu realisieren.
Die größten Vorteile hierbei sind, dass eine visuelle Fixierung auf das gewünschte Zeichen schon zum natürlichen Ablauf bei der Benutzung von Pinyin-Eingaben gehört. Auch das einfache Drücken der Leertaste zur eigentlichen Auswahl ist schneller als die bisherige Methode, bei der man den Blick wieder auf die Tastatur richten musste, um die richtige Ziffer zu drücken. Des Weiteren wird nur ein eindimensionaler Eye Tracker benötigt, weil die Zeichen immer am unteren Bildschirmrand angezeigt werden, was die Realisierung stark vereinfacht. Eine Auswahl per Blinzeln des Auges oder durch längere Fixierung auf einen Punkt wurde von Anfang an nicht in Betracht gezogen.
Es wurden verschieden Tests mit der neuen Software durchgeführt. Interessant ist hierbei, dass den Testpersonen bei zwei Versuchen gesagt wurde, dass die Eye Tracking Technologie zum Einsatz kommt, was jedoch in Wirklichkeit nur bei einem der Fall war. Der Grund hierfür war zu zeigen, dass der generelle Einsatz von Eye Tracking eine schnellere Eingabe ermöglichen könnte, die Technologie hierfür aber noch nicht weit genug entwickelt ist. Dies zeigten auch die Ergebnisse: Während bei dem Versuch mit dem wirklichem Einsatz von Eye Tracking nur ein minimaler Zeitunterschied zur herkömmlichen Methode bestand, war die Methode mit vorgetäuschtem Eye Tracking deutlich schneller.
Die Entwickler kamen zu der Schlussfolgerung, dass der Einsatz von Eye Tracking die Eingabezeit durchaus verringern kann, allerdings nur, wenn die Technologie weiterentwickelt wird und Probleme wie Zeitverzögerung und Einschränkung der Kopfbewegung gelöst werden können.
2.3 EyeMusic [3]
Unter EyeMusic verstehen die Entwickler eine Anwendung, die durch die mittels Eye Tracking ermittelten Daten eine künstlerische und musikalische Komposition entstehen lässt. Es ist relativ offensichtlich, dass die Augen nicht dafür geeignet sind, Instrumente zu spielen, die für die Benutzung per Hand ausgelegt sind.
Trotzdem versuchte man sich an der Entwicklung eines Klaviers, dass mit den Augen gespielt wird, einem EyePiano. Die einzelnen Tasten wurden angespielt, indem ein durch die Augen gesteuerter Cursor eine gewisse Zeit über einer Taste verweilte. Um dem Benutzer hierbei eine größere Zielfläche und damit eine bessere Kontrolle darüber zu geben, die richtige Taste zu treffen, wurden die Klaviertasten über dem gesamten Bildschirm dargestellt. Außerdem wurden auf den Tasten kleine Punkte platziert, um sozusagen das Zielen zu erleichtern. Nach einigen Versuchen und sogar mehrwöchigem Training kamen die Entwickler zu dem Ergebnis, dass ein per Augenfixierungen gesteuertes EyePiano nicht gut funktioniert und besonders hinsichtlich des rhythmischen Spielens schnell an seine Grenzen stößt.
Deshalb kam es zu einem weiteren Versuch, indem alle 17 Millisekunden die Position der Augen an die Software gesendet wurde. Mit diesen rohen Daten, ohne Einfluss der Fixierungen der Augen, erhielten die Benutzer nach einiger Zeit deutlich mehr Kontrolle über ihr Spiel und konnten sogar interessantere und abwechslungsreichere Kompositionen erzielen, als zuvor.
Dennoch schreiben auch die Entwickler selbst, dass sie nie das Ziel hatten ein wirklich funktionierendes EyePiano zu entwickeln. Sie wollten viel mehr die Grenzen und Möglichkeiten des Eye Tracking austesten. Für einige Musiker scheint jedoch diese Art und Weise der Klangerzeugung gerade ihren Reiz auszumachen, da dies nicht so einfach nachzuspielen ist. Das Ziel sei hierbei nicht immer die Kontrolle über das Instrument. Daher versucht das EyeMusic-Projekt auch weiterhin die musikalischen Möglichkeiten der Augenbewegung zu erforschen.
2.4 EyeWindows [4]
Unter EyeWindows versteht man ein System aus sich nicht überlappenden Fenstern, welche durch Eye Tracking ausgewählt werden können. Außerdem werden die Fenster, die im Blickpunkt des Nutzers liegen, angezoomt, um beispielsweise den freien Platz auf dem Bildschirm besser zu nutzen. Grundsätzlich vergrößert sich also das fokussierte Fenster bis zu einer ausreichenden Auflösung, wobei die restlichen Fenster verkleinert werden und dadurch in den Hintergrund treten.
Wie auch schon in den vorherigen Anwendungen beschrieben, bietet sich Eye Tracking generell nicht dazu an, die kompletten Aufgaben einer Maus zu übernehmen, ist aber sehr nützlich, um eine ungefähre Cursorposition zu bestimmen. Dies reicht in diesem Fall auch aus, weil die einzelnen Fenster groß genug sind, um auch bei ungenauen Messungen der Augenposition das richtige Fenster auszuwählen. Außerdem eignet sich bei einer Fensterauswahl die Eye Tracking Technologie besonders gut, da der normalen manuellen Auswahl mit der Maus, das Erfassen des neuen Fensters mittels der Augen vorangeht. Dass die Augenmuskeln zudem noch schneller sind, als die Handmuskeln, ist ein weiterer Vorteil.
Auch diese Anwendung wurde unter verschiedenen Bedingungen getestet. Besonders interessant sind in diesem Fall natürlich die beiden Tests unter Verwendung von Eye Tracking. Einmal konnten die Fenster durch längere Fixierung der Augen ausgewählt werden, das andere Mal durch Betätigen der Leertaste, wobei das Fenster ausgewählt wird, welches vom Benutzer fokussiert wird. Bei beiden Tests waren die Benutzer fast doppelt so schnell, wie bei den Tests, bei denen die herkömmliche Auswahl mit der Maus zum Einsatz kam. Jedoch muss betont werden, dass bei den Tests, jeweils Text in das neu ausgewählte Fenster geschrieben werden musste, was also in diesem Fall immer einen Wechsel der Hand von Maus zu Tatstatur nötig machte. Dies ist wohl auch der Grund für den relativ großen Zeitunterschied, da bei der Fensterauswahl mittels Eye Tracking die Hände an der Tastatur bleiben konnten.
Beim Vergleich der beiden Auswahltechniken durch Eye Tracking, ist hinsichtlich der Zeit die Methode zur Auswahl mit zusätzlichem Tastendruck etwas langsamer. Trotzdem wurde diese Variante von den meisten Testpersonen bevorzugt, was wohl vor allem darauf zurück zu führen ist, dass man den Kopf bzw. die Augen frei bewegen und beispielsweise beim Schreiben auch auf die Tastatur schauen kann. Dies ist bei der Auswahl durch längere Fixierung mit dem Auge nicht möglich, hier muss man, solange man schreiben möchte, auf das ausgewählte Fenster blicken, was im alltäglichen Gebrauch kaum möglich ist.
Die Entwickler kamen zu dem Ergebnis, dass eine Fensterauswahl unter Verwendung der Eye Tracking Technologie eine sehr sinnvolle und auch effektive Alternative zu den herkömmlichen Techniken ist.
3 Fazit
Die oben aufgeführten Anwendungen spiegeln natürlich nur ein kleines Einsatzfeld der Eye Tracking Technologie wider. Mittlerweile kommt die Technologie beispielsweise ebenso in Auto- und Flugzeug-Simulatoren zum Einsatz. Auch in den verschiedensten Bereichen der Forschung und der Medizin kommt man dank ihr zu neuen Erkenntnissen. Man muss jedoch sehen, dass die Eye Tracking Technologie bisher nur meistens eingesetzt wird, um bestimmte Daten des Nutzerverhaltens zu messen, diese zu sammeln und später zu analysieren. Auf dem Bereich der Interaktion gibt es bisher nur verschieden grobe Ansätze von Anwendungen oder gewisse Spielereien wie beispielsweise die oben genannte Anwendung EyeMusic. Es scheint wohl noch einige Zeit zu dauern, bis jeder normale Computernutzer in die Vorzüge einer Fensterauswahl mittels Eye Tracking kommen kann. Hierfür muss die Technik an sich natürlich günstiger und auch benutzerfreundlicher gestaltet werden. Dass sich jedoch eine Weiterentwicklung in diese Richtung lohnt haben die oben genannten Ideen und Anwendungen gezeigt. Auch die meist positiven Rückmeldungen der Testpersonen auf die verschiedenen Applikationen machen dies deutlich.