Performance Art with Computer Support
Autor: Michael Reiter
1 Einleitung und Definition
Das Compact Oxford English Dictionary definiert Performance Art als: "an art form that combines visual art with dramatic performance"[1]. Zugleich definiert der Duden Aktionskunst als eine "Kunstform, die künstlerische Aktionen an die Stelle von Kunstobjekten stellt"[2].
Für die Zwecke dieser Arbeit werde ich mich auf folgende Definition von Aktionskunst stützen, welche aus den beiden eben zitierten Quellen abgeleitet ist:
Aktionskunst ist eine Kunstform, deren Kernaussage durch Interaktion entsteht. Mögliche Interaktionspartner sind dabei der Künstler, das Publikum und gegebenenfalls ein Kunstobjekt.
Als relativ junge Kunstform, welche sich zudem nicht nach strengen Regeln richtet, bietet die Aktionskunst vielerlei Möglichkeiten Neues auszuprobieren. Dieser Essay wird sich mit den Möglichkeiten befassen, die entstehen, wenn man Aktionskunst mit Computerunterstützung betreibt.
Dazu sollen zunächst kurz einige technologische Hintergründe beschrieben werden, um darauf aufbauend beispielhaft zwei Werke aus der Gattung der computerunterstützten Aktionskunst zu beschreiben. Dabei wird neben der technologischen Umsetzung und der Aussage der Werke zudem auf die Wirkung der Werke eingegangen.
2 Technologische Hintergründe
In diesem Abschnitt werden einige technologische Voraussetzungen beschrieben, welche es ermöglichen neue Wege in der Aktionskunst zu beschreiten. Die hierzu notwendigen Technologien gliedern sich in Eingabe-, Analyse- und Ausgabetechnologien.2.1 Eingabe
Jedes Werk der computerunterstützten Aktionskunst muss in der Lage sein Aktionen von Künstler oder Publikum zu registrieren, um daraus eine geeignete Reaktion der Installation zu erzeugen. Hierfür stehen verschieden Technologien zur Verfügung.
Für die meisten Werke ist es essentiell Bewegung, als maßgeblichen Teil von Interaktion, aufzeichnen zu können. Da das Publikum meist Teil des Werkes ist, muss darauf geachtet werden, dass die verwendete Technologie möglichst einfach und robust ist. Zudem soll, in den meisten Fällen, eine möglichst natürliche Interaktion ermöglicht werden. Daraus folgt, dass aufwändig Verfahren, wie bspw. Motioncapturing aufgrund der hierfür notwendigen Sensorik nicht zum Einsatz gebracht werden können. Zudem mindern spezielle Anzüge, wie sie zum Motioncapturing eingesetzt werden, das Immersionspotential der Installation beträchtlich und es besteht die Gefahr, dass das Werk zu einer technischen Spielerei degradiert wird.
Aus diesem Grunde werden in den meisten Installationen entweder druckempfindliche Sensoren im Boden oder Video-Tracking der agierenden Personen verwendet. Falls Sensoren zum Einsatz kommen, so werden diese meist nur in kleinen Bereichen der Bühne verwendet, was aus dem hohen Aufwand und den damit verbundenen Kosten resultiert.
Bei der Verwendung von Video-Tracking zur Aufzeichnung von Interaktion kann dagegen die gesamte Bühne, oder zumindest ein großer Teil davon überwacht werden. Beispielhaft soll an dieser Stelle nun das System IVE (Interactive Virtual Environment)[3] betrachtet werden, welches am MIT Media Laboratory entwickelt wurde.
Zum Tracking einer Person verwendet das IVE-System eine schräg nach unten gerichtete Weitwinkelkamera, welche sich an der Decke des Raumes befindet. Um die Interaktion möglichst natürlich und nicht technisch wirken zu lassen, verzichtet IVE auf zusätzliche Hardware, wie Datenhandschuhe oder VR-Helme. Das System kann beliebig gekleidete Personen erfassen und identifizieren. Es wird lediglich ein dunkler Hintergrund benötigt.
Die Funktionsweise des Systems und des zugrundeliegenden Pfinder Algorithmus wird nun kurz beschrieben.
Zu Beginn betrachtet Pfinder die Szene ohne Akteure auf der Bühne. Sobald eine Person in den Blickwinkel der Kamera tritt, erkennt das System eine starke Veränderung im Videosignal. Pfinder beginnt nun ein Modell der Person zu entwickeln. Dazu analysiert der Algorithmus die Farbverteilung in dem Gebiet, das er als Standort der Person identifiziert hat. Durch ein Modul zu Erkennung von Körperteilen weist Pfinder diesen ihre Farbverteilung zu und kann so später Hände von Kopf und Füßen unterscheiden. Mithilfe dieses Models der Person können sogar einzelne Gesten erkannt werden, so dass sich vielfältige Möglichkeiten zur Interaktion mit dem System bieten. Zusätzlich können zudem Informationen über den exakten Standort der Person aus dem Videosignal abgeleitet werden.
Es ist offensichtlich, dass die Video-Tracking Technik, wie sie in IVE eingesetzt wird enormes Potential bietet und vor allem weitaus leistungsfähiger ist als die zuvor beschriebene Technik der Bewegungserkennung durch druckempfindliche Sensoren. Wir werden später noch sehen, wie beide Techniken in unterschiedlichen Installationen zum Einsatz gebracht wurden.
Selbstverständlich ist die computerunterstützte Aktionskunst nicht nur auf Eingaben durch Bewegung beschränkt, vielfach werden ebenfalls Audioaufzeichnungen verwendet. Da für diese jedoch keine besondere Technologie verwendet werden muss, werde ich darauf verzichten diese Thematik genauer zu beschreiben.
2.2 Verarbeitung und Analyse
Obwohl die Vorgehensweise zur Verarbeitung der gewonnen Informationen stark von der betrachteten Installation abhängt existieren doch einige grundlegende Techniken, auf die nun kurz eingegangen wird.
Man unterscheidet nach der Art und Weise wie aus einer Aktion eine Reaktion abgeleitet wird. Es ist dabei zu beachten, dass dadurch auch der mögliche Grad der Interaktion mit dem System bestimmt wird.
Den sicherlich geringsten Interaktionsgrad bieten skriptbasierte Systeme, welche auf eine diskrete Eingabe ein festes Ergebnis liefern. Dabei ist zu beachten, dass in solchen Systemen die Modellierung komplexer Vorgänge extrem aufwändig wird. Deshalb bieten skriptbasierte Systeme für das Publikum auch den geringsten Immersionseffekt, da durch die beschränkten Interaktionsmöglichkeiten nur geringes Interesse am System erzeugt wird.
Interessanter für die Modellierung von Interaktion sind verhaltensgesteuerte Systeme, welche auf Basis von vorherigen Handlungen und anderer Variablen im System zu einer Eingabe eine sinnvolle Ausgabe liefern. Im Gegensatz zu skriptbasierten Systemen entstehen Wiederholungen so sehr viel seltener, so dass das Interesse des Publikums am System länger erhalten bleibt. Der große Vorteil von verhaltensgesteuerten Systemen ist, dass sie, bei genauer Planung, den Eindruck erwecken können mit einer realen Person zu interagieren. Dies wird jedoch nur erreicht, wenn für den Akteur Aktion und Reaktion in einem intuitiv verständlichen Kausalzusammenhang stehen.
Eine weitere Möglichkeit, um die Interaktion mit dem System möglichst natürlich wirken zu lassen, ist der Einsatz von lernfähigen Systemen. So kann erreicht werden, dass Wiederholungen nur extrem selten auftreten und vielfältige Möglichkeiten zur Interaktion bestehen. Da solche Systeme neue Zusammenhänge aus vergangenen Aktionen der Akteure herstellen, verhalten sie sich meist sehr intuitiv, was den Immersionseffekt weiter verstärkt.
Abschließend soll noch kurz auf eine neue Herangehensweise hingewiesen werden. Sparacino, Davenport, und Pentland beschreiben in ihrem Essay Media in performance: Interactive spaces for dance, theater, circus, and museum exhibits[3] intentionale Systeme. Zur Beschreibung solcher Systeme verwenden die Autoren die Metapher eines Theaterstücks. Demnach soll das System eine gewisse Grundaussage unterstützen, diese aber bei jeder Anwendung auf eigene Art und Weise interpretieren.
2.3 Ausgabe
Zur Ausgabe der Reaktion des Systems sind der künstlerischen Kreativität keine Grenzen gesetzt. Um ein Beispiel für die vielfältigen Möglichkeiten der Ausgabe von Reaktionen zu geben möchte ich die Installation Flamovison[4] von Ed Tannenbaum heranziehen, welche für das Saibu Gas Museum in Fukuoka, Japan, entwickelt wurde, aber leider zu langsam reagierte um vernünftige Ergebnisse zu liefern.
Tannenbaum ordnete hierfür 768 Gasflammen in einem Raster an, so dass jede einzelne Flamme ein Pixel darstellt. Durch eine spezielle Technologie, welche es ermöglicht die Farbe der Gasflammen individuell zu steuern, sollte die Installation das Bild des Betrachters in dem Flammenbildschirm wiedergeben.
Selbstverständlich ist die Ausgabe einer computerunterstützten Installation nicht nur auf einen Sinn begrenzt. Neben der audiovisuellen Reaktion sind ebenso Gerüche, oder Hitze und Kälte als Ausgabe denkbar. Jede verfügbare Technologie kann genutzt werden, wenn sie geeignet ist die Aussage des Werkes zu unterstützen.
3 Beschreibung und Analyse beispielhafter Werke
Nun soll an einigen Beispielen gezeigt werden, wie die oben beschriebenen Technologien in verschiedenen Projekten eingesetzt wurden. Dabei wird sowohl der technische Aufbau beschrieben, als auch die Intention des Werkes.3.1 DanceSpace
Bei DanceSpace[3] handelt es sich um eine interaktive Bühne, für Tanzaufführungen, welche auf der Pfinder Technologie des MIT aufsetzt. Die zugrundeliegende Plattform ist ein IVE-System. Zusätzlich zu den oben beschriebenen Charakteristiken eines IVE-Systems, verfügt DanceSpace noch über eine Leinwand, auf welche computergenerierte Grafiken projeziert werden können.
Das Ziel von DanceSpace ist es eine Bühne für interaktive Tanzaufführungen bereitzustellen. Die Interaktivität wird dabei erreicht, indem die Akteure durch ihren Tanzstil, Musik und Grafiken erzeugen können. Hierfür nutzt man die Fähigkeit von Pfinder einzelne Körperteile der Akteure zu identifizieren. So werden den Tänzern virtuelle Instrumente an ihre Gliedmaßen "befestigt". Jeder Tänzer kann folgende Instrumente bedienen: ein Cello (mit der rechten Hand), ein Vibraphon (mit der linken Hand), sowie Glocken und Trommeln (mit den Füßen). Die Lautstärke wird dabei durch die Entfernung des Kopfes vom Boden bestimmt, die Tonhöhe durch die der Hände zum Boden. Für die Glocken und Trommeln besteht keine Möglichkeit die Tonhöhe zu verändern.
Als Hintergrundmusik dient ein virtuell erzeugter Bassrythmus. Sobald ein Tänzer die Bühne betritt kann er durch seine Bewegungen Musik über diesen Rythmus legen. Durch spezifische Gesten, bei welchen eine Kombination mehrerer Körperteile zum Einsatz kommt, kann der Tänzer sogar den Hintergrundrythmus verändern und so sehr individuelle Auftritte realisieren.
Zusätzlich zu den Ausgabemöglichkeiten für Audio verfügt DanceSpace noch über die Möglichkeit eine grafische Visualisierung des Tanzes eines Akteurs zu liefern. Hierzu werden zwei Bezier-Kurven erzeugt, welche durch die Position der Gliedmaßen des Tänzers definiert werden und so eine abstrakte Repräsentation seines Körpers liefern. Die Farben der beiden Kurven kann durch unterschiedlichste Parameter beeinflusst werden, so ist es beispielsweise möglich die Farbe durch die Position des Tänzers auf der Bühne zu bestimmen, oder aber die Bewegungsgeschwindigkeit dazu heranzuziehen. Zur Visualisierung werden diese beiden Kurven nun auf die Leinwand projeziert.
Bei der Projektion bietet sich nun noch die Möglichkeit zu beeinflussen wie lange diese grafische Spur des Tanzes sichtbar bleibt. Bei der Wahl eines geringen Wertes erscheint die Visualisierung wie ein zweiter virtueller Tänzer, welcher sich über dem physischen Akteur befindet. Bei einer langen Lebenszeit der Spur kann der Tänzer praktisch ein Bild mit seinen Bewegungen zeichnen, welches nur sehr langsam nach und nach verblasst.
DanceSpace wurde sowohl von professionellen und semi-professionellen Tänzern genutzt, als auch von Laien. Dabei stellte sich heraus, dass die Tänzer sich sehr stark auf die Visualisierung ihres Tanzes konzentrierten und damit neue Einflüsse in ihre Auftritte integrieren konnten. Dem gegenüber stand die Herangehensweise der Laien, welche vor allem von den musikalischen Qualitäten des DanceSpace begeistert waren. Diese erlauben es auch völlig unmusikalischen Personen ansprechende Musik zu generieren.
DanceSpace soll eine Trennung von Musik und Tanz erreichen. Der Tanz an sich wird als der Musik übergeordnet empfunden und muss deshalb getrennt von dieser entstehen. Die Musik wird nun um den Tanz herum komponiert. Diese Herangehensweise geht auf den Tänzer Merce Cunningham zurück. Cunningham believed that dance and movement should be designed independently of music, which is subordinate to the dancing and may be composed later for performance, much as a musical score is in film.[3]
3.2 Desert Rain
Das Projekt Desert Rain[5] wurde als Kooperation der Aktionskunst Truppe Blast Group, der University of Nottingham und dem Nottingham NOW Contemporary Art Festival entwickelt. Dabei handelt es sich um eine Kombination von Aktionskunst, Installation und Computer Spiel. Desert Rain wurde für bis zu sechs Teilnehmer konzipiert, welche in verschiedenen Umgebungen Aufgaben zu erfüllen haben.
The central artistic concern of Desert Rain is virtual warfare, the blurring of the boundaries between real and virtual events, especially with regard to the portrayal of warfare on television news, in Hollywoods films and in computer games.[5]
Dieses Verwischen der Grenzen zwischen real und virtuell ist das zentrale Thema von Desert Rain und spiegelt sich auch im Aufbau der Installation wieder. Um diesen Aufbau zu beschreiben werde ich den Weg der Teilnehmer in Desert Rain beschreiben und dabei jeweils auf die genutzte Technologie eingehen.
Die Aufgabe der Spieler ist es eine virtuelle Welt zu erkunden und dabei sechs menschliche Ziele zu finden. Diese Ziele stellen Personen mit unterschiedlichen Berufen und unterschiedlichen Einstellungen zum Golf Krieg dar. Zusätzlich zu den Spielern befinden sich in Desert Rain noch einige Darsteller, welche das System bedienen und teilweise in das Geschehen eingreifen.
Zu Beginn werden die Teilnehmer von einem Darsteller in einen kargen Raum geführt. Dort werden sie gebeten ihre Kleidung auszuziehen und erhalten im Austausch eine Uniform, sowie ein Headset. Zudem werden in einem Briefing die Zielepersonen genannt und Fotos von ihnen gezeigt. Im Anschluss wird noch erklärt wie man sich in der virtuellen Welt bewegt. Dabei wird besonderes Augenmerk darauf gelegt, dass die Mission innerhalb eines festen Zeitfensters abgeschlossen werden muss und sich die Spieler gegenseitig unterstützen sollen. Es besteht dabei keine Möglichkeit Fragen zu stellen. All das zusammen soll die Teilnehmer auf das "Spiel" einstimmen und eine spannungsgeladenen Atmosphäre schaffen.
Nun werden die Teilnehmer in einen anderen Raum geführt. Dort befinden sich sechs Würfel aus Stoff, in welche die Spieler eingeschlossen werden. Im Inneren der Würfel befindet sich eine drucksensitive Platte, auf welcher die Spieler stehen und die als Steuergerät verwendet wird. Desweiteren befindet sich in den Würfeln ein Vorhang aus Wasser, welcher als Projektionsfläche für die virtuelle Welt benutzt wird. Dabei wird eine Rückprojektion eingesetzt. Der Wasservorhang verhält sich nun wie ein Bildschirm, mit der Besonderheit, dass er für den Spieler nicht durchsichtig ist, man von hinter dem Vorhang aber den Spieler unbemerkt beobachten kann.
Diese spezielle Art von Display wurde gewählt, weil sie für Desert Rain eine Reihe von Vorteilen bringt. So besteht ein starker Kontrast zwischen den Wüstenszenen, welche auf den Bildschirm projeziert werden und der Projektionsfläche - dem Wasser. Zusätzlich erzeugt der Wasserbildschirm ein äußerst befremdliches Geräusch. Desweiteren bietet diese Art der Projektion die Möglichkeit den Bildschirm physisch zu durchschreiten, was das Verschwimmen von Realem und Virtuellem darstellen soll.
Nun beginnt die virtuelle Reise. Die Spieler befinden sich in einem virtuellen Motel Zimmer. Im Fernsehen kommt ein kurzer CNN-Clip über den Golf Krieg. Sobald der Spieler den Raum verlässt findet er sich in einer Wüstenlandschaft wieder. Wenn ein Teilnehmer sein Ziel, eine Tür mit dem Namen seiner Zielperson, erreicht und durchschritten hat befindet er sich in einem Raum, der lediglich ein Schild enthält, auf dem geschrieben steht "Wait here". Nach einer Weile tritt einer der Darsteller durch den Wasservorhang, überreicht dem Spieler wortlos eine Plastikkarte, und verschwindet wieder. Dieser Moment stellt wohl am dramatischsten die Kernaussage von Desert Rain dar, und kommt für den Spieler extrem überraschend, da dieser zu dem Zeitpunkt schon tief in die virtuelle Welt eingetaucht ist.
Die Spieler sollen nun den Ausgang aus einem unterirdischen Bunker finden. Dabei dürfen sie das Zeitlimit nicht verletzen, um dies zu gewährleisten ist es unter Umständen nötig, dass die Teilnehmer kooperieren. Falls die Aufgabe nicht innerhalb des Zeitlimits gelöst wird, werden die Wasservorhänge abgeschaltet und die Vorstellung ist vorbei. Andernfalls erscheinen die Darsteller wieder und führen die Teilnehmer durch den Wasservorhand hindurch. Nun vollziehen die Spieler selbst einen Wechsel zwischen den Welten, indem sie in die Welt eintreten, welche sie zuvor nur als virtuelle Projektion gesehen haben.
Der letzte Teil der Handlung spielt sich nun in der realen Welt ab. Die Teilnehmer müssen einen schrägen Korridor, welcher mit Sand gefüllt ist durchqueren. Dieser Korridor führt sie in eine reale Kopie des virtuellen Motel Zimmers, in dem das Spiel begann. Hier befindet sich nun ein realer Fernseher, welcher mit den Plastikkarten bedient werden kann. Jede Karte spielt ein anderes Video ab. Die Videos zeigen ein Interview mit der jeweiligen Zielperson des Spielers. In den Interviews äußern die Personen ihre jeweilige Meinung zum ersten Golf Krieg. Die Aufführung ist nun zu Ende, den Spielern wurde jedoch jeweils ein Säckchen mit ca. 100.000 Sandkörnern in ihrer Kleidung platziert. Die Sandkörner symbolisieren dabei die geschätzte Anzahl der Opfer des Golf Kriegs.
Abschließend bleibt zu Desert Rain noch zu sagen, dass ein enormer Aufwand betrieben wurde, um das Interesse der Teilnehmer aufrecht zu erhalten. Dabei wurde hoher Wert darauf gelegt, dass eine Einflussnahme von Seiten der Darsteller das Immersionserlebnis der Spieler möglichst nicht stören sollte. So unterstützen die Darsteller, die Spieler beispielsweise dabei ihre Ziele zu finden, indem sie unauffällig die Bewegungen der Avatare beeinflussen.
4 Schlussbemerkung
Für computerunterstützte Aktionskunst ist es sehr wichtig, auf eine solide technische Plattform aufzusetzen, welche sowohl robust, als auch einfach zu bedienen ist. Dabei steht immer der Laie, welcher Teil der Vorstellung ist im Mittelpunkt. Noch wichtiger als die Technologie im Hintergrund ist aber eine genaue Planung der Installation. Damit muss erreicht werden, dass die Akteure auch nach einer kurzen Einführung bereits alle Aspekte des Systems verstehen und bedienen können. Nur so kann ein befriedigendes Maß an Immersion erreicht werden.5 Literaturverzeichnis
[1]AskOxford.com. Performance Art. 8.2.2007http://www.askoxford.com/results/?view=dict&freesearch=performance+art&branch=13842570&textsearchtype=exact
[2]Duden. Aktionskunst. 8.2.2007
http://www.duden-suche.de/suche/artikel.php?amp;shortname=fx&artikel_id=3867&verweis=1
[3]IBM Systems Journal. Media in performance: Interactive spaces for dance, theater, circus, and museum exhibits. 8.2.2007
http://www.research.ibm.com/journal/sj/393/part1/sparacino.html
[4]Gregory P. Garvey, et al. Interactive Art and Artificial Reality. 8.2.2007
Zugriff über http://portal.acm.org
[5]Boriana Koleva, Ian Taylor, Steve Benford, et al. Orchestrating a Mixed Reality Performance. 8.2.2007
Zugriff über http://portal.acm.org
