STYLUS BASED TEXT INPUT TECHNOLOGIES
by Dariya Sharonova
- EINFÜHRUNG
- STYLUS-BASIERTE TEXTEINGABETECHNOLOGIEN
- EDGEWRITE
- ÜBERSICHT ANDERER STYLUS-BASIERTER TECHNOLOGIEN
- FAZIT
- LITERATURVERZEICHNIS
EINFÜHRUNG
Diese Arbeit beschäftigt sich mit den Stylus-basierten Texteingabetechnologien, d.h. mit den Eingabesystemen, wo der Text mittels eines Eingabestiftes (engl. Stylus bzw. (Touch)Pen) meistens auf einem Touchscreen eingegeben wird. Stylus-basierte Technologien kommen z.B. in den Bereichen zum Einsatz, wo die traditionelle Bedienung des elektronischen Gerätes (z.B. eines Computers) über eine Tastatur sich aus irgendwelchen Gründen als zu aufwändig oder gar nicht möglich erweist: Texteingabe auf einem PDA, Bedienung des Computers durch Menschen mit motorischen Behinderungen etc.
STYLUS-BASIERTE TEXTEINGABETECHNOLOGIEN
In der letzten Zeit haben sich verschiedene Stylus-basierte Texteingabetechnologien verbreitet. Die dabei verwendeten Eingabetechniken und Erkennungsmethoden unterscheiden sich: es gibt z.B. Unistroke-basierte Systeme, wo jedes einzelne Symbol mit nur 1 Strich (Unistroke) gemalt wird und erst nach dem Anheben des Stylus als eingegeben gilt und erkannt wird (Beispiele für Unistroke-Eingabesysteme sind Graffiti für Palm OS und Jot für Windows CE); Systeme mit der sog. Multistroke-Eingabe - wo sich einige Zeichen aus mehreren Strichen zusammensetzen; Systeme mit kontinuierlicher Texteingabe (continuous text input), wo der Text ununterbrochen gezeichnet wird, ohne dass man den Stylus von der Eingabeoberfläche anheben muss, etc.
Für Unistroke-Systeme wird jeweils ein eigenes spezielles Unistroke-Alphabet entwickelt, wo für jedes Symbol (Buchstaben, Ziffern, Satzzeichen, etc.) ein ihm mehr oder weniger ähnlich aussehender Stylus-Strich (Unistroke) festgelegt wird. Andererseits werden die Unistrokes so konzipiert, dass die Ähnlichkeit zwischen Symbolen reduziert wird. Daher kommt auch der Nachteil von Unistrokes: dass sie dem Benutzer teilweise unnatürlich vorkommen können, und einige Zeit zum Erlernen des abstrakten Unistroke-Alphabets in Anspruch genommen werden muss.
Mittlerweile ist im Bereich Stylus-basierter Texteingabetechnologien eine Reihe von weiteren Systemen und Techniken entstanden, von denen in dieser Arbeit auf eine, nämlich EdgeWrite, detailliert eingegangen wird. Im Anschluss werden weitere Stylus-basierte Techniken in einer kurzen Übersicht aufgeführt.
EDGEWRITE
EdgeWrite ist eine relativ neue, auf Unistrokes basierende, Texteingabetechnologie, die 2003 von Jacob O. Wobbrock, Brad A. Myers und John A. Kembel aus der Carnegie Mellon University, Pittsburgh, USA, entwickelt wurde.
Die Technologie war ursprünglich für Menschen mit motorischen Schwierigkeiten gedacht. Die an der Zerebralen Lähmung, Parkinsonkrankheit oder Muskeldystrophie erkrankten Menschen haben Probleme bei der Bedienung klassischer Eingabegeräte (Tastatur, Maus) und somit Schwierigkeiten im Umgang mit Desktop-PCs. Als Lösung wurde von EdgeWrite-Autoren die Steuerung des Desktoprechners mittels eines Palm PDAs (mit Hilfe der Software Remote Commander) angeboten, der seinerseits über das EdgeWrite-System bedient wird.
Die mit Palm mitgelieferte Eingabesoftware Graffiti hat sich für Menschen mit motorischen Behinderungen als weniger geeignet erwiesen. Krankheitsbedingtes Zittern und Müdigkeit führen häufig dazu, dass die Erkennungsqualität von Graffiti erheblich nachlässt.
Ein weiterer Nachteil von gängigen Stylus-basierten Systemen für PDAs, der auch für gesunde Menschen von Bedeutung ist: solche Systeme sind zwar für kürzere Texteingaben ganz gut geeignet (z.B. Eingabe von Notizen, Telefonnummern, Adressen, etc.), für umfangreichere Aufgaben allerdings nicht ausreichend.
Deswegen wurde von den EdgeWrite-Autoren ein auf einem völlig anderen Prinzip basierendes Texteingabesystem für Palm entwickelt. Die grundlegende Idee für das neue System war, eine spezielle Plastikschablone mit einem Quadratausschnitt zu benutzen, wo man den Stylus entlang den harten Kanten und Diagonalen des Ausschnittes von einer Ecke in die andere laut vordefinierten Mustern bewegen muss. Für jedes Symbol wurde eigenes Unistroke-Muster festgelegt. Das Ende der Eingabe jedes einzelnen Symbols wird durch das Anheben des Stylus signalisiert.
Mit solcher Technik würde man die gewünschten Ziele erreichen: die Eingabe und Erkennung erfolgen stabiler und zuverlässiger, die Eingabegeschwindigkeit und -präzision steigern, die visuelle Kontrolle über die Texteingabe entfällt fast.
Das grundlegende Prinzip bei der Erkennung der im EdgeWrite eingegebener Symbole: die Erkennung erfolgt weder auf Basis des Bewegungspfades des Stylus noch durch den Vergleich des eingegebenen Zeichens mit denen aus einer Muster-Library. Die Erkennung hängt ausschließlich von der Reihenfolge der mit Stylus getroffenen Eckbereiche ab.
Vorteile von EdgeWrite gegenüber Graffiti:
- kleiner fixer Eingabebereich mit harten Kanten;
- die Tatsache, dass für die Erkennung von Symbolen nur die Reihenfolge von getroffenen Eckbereichen relevant ist, bringt eine Reihe von Vorteilen mit sich: die Abweichungen des Bewegungspfades sind zulässig, die Anforderungen an die Prozessorleistung sind relativ gering, die benutzerdefinierten Gesten lassen sich mittels einer einzigen Eingabe festlegen (ohne Wiederholungen zum "Trainieren" der Software), die Neudefinition von Unistrokes durch Entwickler kann ohne großen Aufwand vorgenommen werden;
- weniger Eingabemodi: kein "Shift" und "Caps Lock". Um einen Großbuchstaben einzugeben, reicht es, im Anschluss an die Unistroke-Eingabe mit einer zusätzlichen Stylusbewegung den linken oberen Eckbereich zu treffen. Damit keine Kollisionen entstehen, ist der Zeichensatz so konzipiert, dass kein Symbol einen Bewegungspfad hat, der im linken oberen Eckbereich endet.
Die in EdgeWrite benutzen Unistrokes sind den jeweiligen Buchstaben teilweise alles andere als ähnlich. Allerdings, wie von mehreren Studien bestätigt, lassen sie sich ziemlich leicht erlernen und merken, wobei es sich hier nicht um das visuelle, sondern eher um das motorische Gedächtnis handelt.
Wie bereits erwähnt, bedarf der Erkennungsvorgang keiner besonders leistungsfähigen Prozessoren. Im Allgemeinen sieht der Erkennungsvorgang wie folgt aus: das Erkennungsmodul wird gleich gestartet, nachdem die Berührung des Stylus mit einem der Eckbereiche der Eingabeoberfläche festgestellt wurde. Das Modul fängt an, die Punkte des Bewegungspfades einen nach dem anderen in seine interne Queue einzuscannen. Dieser Vorgang endet erst mit dem Anheben des Stylus. Sobald das Erkennungsmodul das Anheben des Stylus registriert, beginnt es, die vorher in die Queue eingelesenen Koordinaten zu verarbeiten. Dabei wird ermittelt, ob mit dem Stylus die Eckbereiche der Eingabeoberfläche getroffen wurden. Als Output bekommt man anschließend einen 32-Bit-Integer, wo die Reihenfolge der getroffenen Eckbereiche kodiert ist. Danach wird die Suche nach diesem Wert in einer Mapping-Tabelle durchgeführt und das eingegebene Zeichen ermittelt.
Ein wichtiger "Hardware"-Bestandteil des EdgeWrite-Systems ist eine transparente Plastikschablone mit dem Quadratausschnitt, die an dem PDA-Gehäuse befestigt wird. Momentan gibt es zwei Bauarten davon.
Warum der "leitende" Ausschnitt in der Schablone ausgerechnet in Form eines Quadrates implementiert wurde: diese Auswahl war nicht willkürlich, denn, erstens, nur die Benutzung eines Quadrates garantiert, dass die Bewegungen des Stylus entlang den Kanten in vier Hauptrichtungen stattfinden: nach oben, nach unten, nach links, nach rechts. Durch eine Studie wurde bewiesen, dass diese Richtungen für ein Gestenalphabet die einfachsten sind, selbst wenn es keine "leitenden" Kanten gibt. Zweitens, das Quadrat wurde von den EdgeWrite-Autoren wegen seiner einfachen Form ausgewählt. Komplizierte Polygone würden die Fehlerquote bei der Eingabe erhöhen. [1,2]
Fazit. EdgeWrite ist eine Stylus-basierte Texteingabetechnologie, die effektive Unterstützung für die stabile Texteingabe bietet, was diese Technologie nicht nur für motorisch behinderte Menschen ganz gut geeignet macht, sondern auch den effektiven Einsatz von EdgeWrite bei den gängigen Textbearbeitungsaufgaben auf einem PDA ermöglicht. Das von EdgeWrite-Autoren entwickelte Unistroke-Alphabet, das auf vier Kanten und zwei Diagonalen basiert, hat sich als sehr gut erlernbar erwiesen. Laut den von Autoren durchgeführten Studien, ist die Erkennungsgenauigkeit 18% höher im Vergleich zu Graffiti, ohne dass dabei die Eingabegeschwindigkeit wesentlich beeinträchtigt wird. Weitere Entwicklungsrichtung von EdgeWrite - Arbeit an der Version, die die kontinuierliche Eingabe unterstützen würde, was die visuelle Kontrolle über die Eingabe überflüssig machen würde. Das würde das System auch für Menschen mit Sehbehinderungen geeignet machen. Es sind auch weitere Studien geplant: fortgeschrittene Benutzung über längere Zeiträume, Beibehalten der Alphabet-Kenntnisse nach einiger Zeit der Nichtbenutzung, Erkennung der Symbolformen durch den Benutzer, Texteingabe unter den instabilen Bedingungen, etc.
ÜBERSICHT ANDERER STYLUS-BASIERTER TECHNOLOGIEN
In diesem Abschnitt wird eine kurze Übersicht von anderen Stylus-basierten Texteingabetechnologien gegeben.
Die Software Graffiti ist wohl der bekannteste Vertreter der Stylus-basierten Anwendungen. Sie wurde von Palm Inc. für ihre PDAs, die unter Palm OS laufen, entwickelt. Die Eingabe erfolgt mittels eines Stylus auf dem berührungsempfindlichen Display und basiert auf Unistroke-Gesten, die den großen Buchstaben des lateinischen Alphabets sehr ähnlich sind, was sie ziemlich schnell und einfach erlernbar macht. Hier sind noch ähnliche Programme wie z.B. Unistrokes von Xerox und Jot von CIC zu erwähnen, die nach dem gleichen Prinzip funktionieren. [3]
Quikwriting. Wurde 1998 von Ken Perlin entwickelt. Die Eingabeoberfläche enthält vier Schreibfeldern: kleine Buchstaben (Lowercase), große Buchstaben (Capitals), Satzzeichen (Punctuation) und Ziffern (Numeric). Die Eingabe erfolgt kontinuierlich, ohne dass der Stylus angehoben werden muss. Jedes der Schreibfelder ist in acht Sektoren aufgeteilt, die jeweils fünf Symbole (nach ihrer Frequenz) enthalten. Im oberen und unteren Sektoren befinden sich Symbole für Enter, Space, Backspace und für drei Shift-Modi. Die Eingabe erfolgt folgendermaßen: der Stylus wird von der Mitte des Schreibfeldes zum Sektor mit dem einzugebenden Buchstaben geführt. Falls sich der Buchstabe in der Sektormitte befindet, wird der Stylus anschließend zurück in die Mitte des Schreibfeldes positioniert. Falls sich aber der einzugebende Buchstabe links oder rechts von dem mittigen befindet, muss der Stylus in die jeweilige Richtung so geführt werden, dass die Anzahl überschrittener Sektorgrenzen der Entfernung der Position des gewünschten Buchstaben von der des mittigen entspricht. [4,5]
Cirrin (the CIRculaR INput device) wurde 1998 von Jennifer Mankoff und Gregory D. Abowd entwickelt. Cirrins Eingabeoberfläche stellt einen Kreis dar, auf dessen Rand die Buchstaben gleichmäßig verteilt sind. Die Eingabe erfolgt durch kontinuierliches Bewegen des Stylus über die gewünschten Buchstaben. Große Buchstaben und Satzzeichen sind nicht vorgesehen. Die Worteingabe startet in der Mitte des Kreises, man führt den Stylus ununterbrochen durch alle Buchstaben, aus denen das Wort besteht, und hebt ihn anschließend an. [6]
ShapeWriter (ehem. Shorthand-Aided Rapid Keyboarding, SHARK, SHARK^2 und SHARK Shorthand) wurde 2000 von Per-Ola Kristensson und Shumin Zhai entwickelt. Das SHARK-Interface basiert auf virtueller Tastatur, die auf dem Display angezeigt und mit Stylus bedient wird. Die Tastatur hat ein speziell entwickeltes Layout: ATOMIK. Der grundlegende Begriff im SHARK-System ist das sog. Sokgraph (shorthand defined on a keyboard as a graph): jedem Wort entspricht ein spezielles Muster (Sokgraph), das den Bewegungspfad des Stylus darstellt, der alle Buchstaben des Wortes auf der virtuellen Tastatur überquert, vom ersten zum letzen. Das System unterstützt zwei Eingabemodi. Bei Eingabe der Wörter, deren Sokgraphs ihm bekannt sind, zeichnet der Benutzer einfach die jeweilige Geste. Das System setzt dabei einen Erkennungsalgorithmus ein und findet das passende Sokgraph. Andere Eingabevariante: wenn dem Benutzer die Geste für das einzugebende Wort nicht bekannt ist, drückt er einfach er mit dem Stylus auf die entsprechenden Tasten der virtuellen Tastatur. [7,8]
Dasher wurde 2000 von David J. Ward, Alan F. Blackwell und David J.C. MacKay, Cambridge, United Kingdom, entwickelt. Es basiert auf einem sehr originellen Prinzip. Der Bildschirm ist mit einer senkrechten Linie in zwei Bereiche geteilt. Links werden die ausgewählten Buchstaben des einzugebenden Wortes angezeigt. Der rechte Bereich enthält 27 Symbole: das englische Alphabet und den Unterstrich, der für das Leerzeichen steht. Jeder Buchstabe ist in einem farbigen Rechteck eingeschlossen, welches sich zu vergrößern anfängt, wenn darauf mit dem Stylus (an Stelle des Stylus können als Alternative auch Maus, Touchscreen oder Eyetracker benutzt werden) gezeigt wird. Dies hat zur Folge, dass der Buchstabe in diesem Rechteck als erster die Trennlinie überquert und seinen Platz im linken Bereich nimmt. Die Höhe der anschließend rechts erscheinenden Rechtsecke hängt von der Wahrscheinlichkeit der jeweiligen Buchstabenkombination ab. Das System ähnelt einem Spiel und ist ein echter Time-Killer: die bewegende Buchstabenlandschaft wirkt wirklich faszinierend. [9,10]
Die sog. Menu-Augmented Soft Keyboards wurden 2003 von Poika Isokoski u.a. entwickelt. Das System basiert auf der virtuellen Tastatur (Soft Keyboard). In ihren Studien betrachteten die Autoren fünf unterschiedliche Tastatur-Layouts: Dvorak, QWERTY, FITALY, OPTI II und ATOMIK. Die Eingabe erfolgt folgendermaßen: der Benutzer drückt mit dem Stylus eine Taste, das entsprechende Symbol wird damit eingegeben, danach stehen dem Benutzer zwei Möglichkeiten der Fortsetzung der Eingabe zur Verfügung: er kann entweder den Stylus anheben oder mittels eines sog. Marking-Menus ein weiteres Symbol auswählen. Ein Marking-Menu ist ein radiales Popup-Menü, welches nach einer kleinen Verzögerung erscheint. Das Menü besteht aus acht Sektoren, die jeweils ein Symbol oder eine Buchstabenkombination enthalten. Der Benutzer wählt ein Symbol aus, indem er den Stylus in die jeweilige Richtung führt und anschließend anhebt. Dabei braucht der Benutzer nicht zu warten, bis das Menü erscheint - die Symbolauswahl kann gleich vorgenommen werden, als ob das Menü bereits da wäre. Das Menü beeinträchtigt nicht die traditionelle Bedienung der virtuellen Tastatur: die Benutzer, die es nicht nutzen wollen, können es einfach ignorieren. Es wurden zwei Varianten von Marking-Menus entwickelt und untersucht: 1) das Menü, das unabhängig von der gedrückten Taste immer aus den gleichen Symbolen besteht; 2) Menüs mit dynamischem Inhalt, wo die Symbole nach der Wahrscheinlichkeit der jeweiligen Buchstabenkombination eingeblendet werden. Das Erstere hat den Vorteil, dass die Benutzer es sich merken können. Außer Menu-Augmented Soft Keyboards gibt es weitere Eingabetechnologien, die mit kreisförmigen Popup-Menüs funktionieren, z.B. T-Cube und POBox. [11]
Es gibt mehrere andere Technologien im Bereich der Stylus-basierten Texteingabe, auf die in dieser Arbeit jedoch nicht eingegangen wurde. Dazu zählen z.B. FlowMenu, Allegro, Octave, MDITIM und HexInput.
FAZIT
Es wurde eine Reihe von derzeit vorhandenen Stylus-basierten Texteingabetechnologien aufgeführt und die Vielfalt existierender Lösungseinsätze in diesem Bereich gezeigt. Die bekanntesten Technologien wurden in einer kurzen Übersicht geschildert; eine davon, EdgeWrite, wurde detailliert erläutert.
LITERATURVERZEICHNIS
1. EdgeWrite: a stylus-based text entry method designed for high accuracy and stability of motionJacob O. Wobbrock, Brad A. Myers, John A. Kembel
November 2003
Proceedings of the 16th annual ACM symposium on User interface software and technology UIST '03.
http://delivery.acm.org/...
2. Human-Computer Interaction Institute (HCII)
School of Computer Science
Carnegie Mellon University, Pittsburgh
http://depts.washington.edu/ewrite/
3. Graffiti. Palm, Inc.
http://www.palm.com/us/products/input/
4. Quikwriting: continuous stylus-based text entry
Ken Perlin
November 1998
Proceedings of the 11th annual ACM symposium on User interface software and technology UIST '98.
5. Student Palm Club, Russian Federation
http://student.palmclub.ru/art/intxt/intxt.htm
6. Cirrin: a word-level unistroke keyboard for pen input
Jennifer Mankoff, Gregory D. Abowd
November 1998
Proceedings of the 11th annual ACM symposium on User interface software and technology UIST '98.
7. Input interaction: Shorthand writing on stylus keyboard
Shumin Zhai, Per-Ola Kristensson
April 2003
Proceedings of the SIGCHI conference on Human factors in computing systems CHI '03
http://dl.alphaworks.ibm.com/technologies/sharktext/SharkFinal.pdf
8. Shorthand-Aided Rapid Keyboarding. IBM Corporation.
http://www.alphaworks.ibm.com/tech/sharktext
9. Dasher - a data entry interface using continuous gestures and language models
David J. Ward, Alan F. Blackwell, David J. C. MacKay
November 2000
Proceedings of the 13th annual ACM symposium on User interface software and technology UIST '00.
10. Online-Magazin "Mobiltelefone und Internet" (Russische Föderation)
http://connect.rin.ru/articles/internet/250.html
11. Performance of menu-augmented soft keyboards
Poika Isokoski
April 2004
Proceedings of the SIGCHI conference on Human factors in computing systems CHI '04.