Ich experimentiere derzeit mit einer Augmented Reality Version meiner Observed-Installation. Ziel ist die Installation in Echtzeit als Augmented Reality Darstellung aus dem subjektiven Blickwinkel des Trägers mit Hilfe einer Datenbrille darzustellen.
Approach 1: Eine einfache Hardware Lösung mit Videobrille, montierter USB-Camera und VGA2Video-Umsetzer und externem PC als Zuspieler:
Augmented Reality mit Videobrille, montierter USB-Camera, VGA-Umsetzer und externem PC als Zuspieler
Diese Lösung habe ich sehr schnell realisiert, es ist aber nur Video-(TV)-Auflösung verfügbar. Der Anwender ist nicht sehr beweglich, da Video und USB-Kabel mitgeführt werden müssen.
Approach 2: Realisierung in Software als Android-App:
Meine Android-App im Screenshot. Bild im Hintergrund (c) Heike Kollakowski
Das Android-Smartphone wird hier von einer Dive-VR-Brille gehalten. Das Google Cardboard funktioniert natürlich auch! Vorteile: Höhere Beweglichkeit und Skalierbarkeit. Obwohl die Rechenleistung aktueller Smartphones stark zugenommen hat, waren doch ein paar Tricks und Optimierungen nötig, um eine akzeptable Framerate zu erzielen. Die App ist derzeit noch nicht im Android-Store erhältlich.
Das Head Mounted Display (HMD) mit Android Smartphone zeigt Observed in Echtzeit als Augmented Reality Darstellung aus dem subjektiven Blickwinkel des Trägers. Hier realisiert mit DIVE und Nexus4.
Beide Ansätze realisieren nicht wirklich Stereo-Vision, da jeweils nur eine einzige Kamera eingesetzt wird. In der Android- App-Variante kann aber die überlagerte Animation Tiefeninformation enthalten, da die Teilbilder einzeln erzeugt werden. Die Videobrille akzeptiert nur eine einzige Videoquelle, so dass prinzipbedingt kein Stereo-Vision möglich ist. Die App-Variante kann zwei Cameras nutzen, sofern sie im Smartphone verbaut sind (z.B. Oppo) bzw. auch sinnvoll im Augenabstand angeordnet sind. In der Wikipedia findet sich eine Liste von Smartphones, die 3D-Vision unterstützen.
Ich plane die Videobrille mit einem Raspberry pi zero und der Raspi-Camera auszustatten, um sie auch kabellos nutzen zu können.
Update: Die Observed-Installation äuft mit speziellem Video-Library auch auf dem pi zero. Die erreichbare Framerate (ca. alle 3 Sekunde ein Frame) ist aber nicht akzeptabel.
Der klitzekleine raspbery pi zero rendert was das Zeug hält die Observed Installation in 320×240 Auflösung…
… und nimmt dabei nur 5 Watt Leistung auf. Green-Art ;-)
Ich habe dort meine neue Videoinstallation “data cloud” gezeigt, die WLAN-MAC-Adressen von Smartphones in WLAN-Reichweite und die von diesen Geräten gesuchten WLAN-Accesspoint als Datengrundlage verwendet.
Interaktive Videoinstallation “data cloud”
Die Installation startet mit einem leeren Screen und füllt sich interaktiv bei Annäherung von mit Smartphone ausgestatteten Betrachtern. Voraussetzung ist die eingeschaltete WLAN-Funktion auf den Smartphones der Besucher. Viele Smartphone-Nutzer haben diese Funktion ständig eingeschaltet und sind sich nicht bewusst, dass ihre Geräte so eine Datenspur hinterlassen und getrackt und wiedererkannt werden können. Die Installation soll den Betrachtern das allgegenwärtige Ausstreuen von personenbezogenen Daten bewusst machen und eine Sensibilisierung zu Datenschutz- und netzpolitischen Themen fördern.
data cloud in der Rückprojektion
Und so sah die Rückprojektion von vorne aus.
Erstmals habe ich die Installation mit zwei großen Beamern präsentiert. Es gab sowohl eine Frontpräsententation mit einem Kurzdistanzprojektor als auch eine Rücktransformation auf Transparentpapier.
Das Technik-Backend
Audio-Pong
Da bei der Extraschicht immer sehr viel Publikum unterwegs ist, habe ich mir dieses Mal etwas Besonderes überlegt. Alternativ zu der großen Videoinstallation konnte ich ein Audio-Pong präsentieren, nachdem die von Heike Kollakowski im Rahmen der Extraschicht angebotenen Handlettering Workshops beendet waren. Das bekannte Pong-Spiel (eine Implementierung in Processing) habe ich um eine Audio-Steuerung ergänzt, die es ermöglicht, dass zwei Spieler per Mikrofon über die Lautstärke der Stimme Ihren Pong-Schläger steuern konnten. Dieses Konzept gab es übrigens schon einmal in den 70′er Jahren im Fernsehen unter dem Namen “Telespiele” moderiert von Thomas Gottschalk. Interessanterweise kannte keiner der Besucher diese Sendung. Ich hatte diese Installation schon einmal im Dezember 2014 bei einer Veranstaltung eingesetzt und später auf der 32C3 eine ähnliche Installation gesehen. Zur Geschichte von Pong gibt es derzeit aktuell noch ein Video in der ZDF-Mediathek zum Download (1,4GB, Die Amiga-Story, alternativ bei youtube).
Audio Pong mit Mikrofonsteuerung
Auch alte Computer / Telespiele sind meiner Ansicht nach Zeugnisse der Industriekultur. Den Besuchern und auch mir hat die Aktion sehr großen Spaß bereitet, da teils sehr lustige Laute zu hören waren ;-).
Es ist noch eine Videodoku zur galvanischen Zone bei Vimeo eingestellt worden. Ich verlinke hier direkt zum Timecode meines Datenfensters. Es lohnt die Doku auch von Anfang an zu schauen.
Credits im Video, Dank an Christan Spieß für die spannende Rückansicht
Eine Variante meiner Observed-Installation war als Datenfenster in der galvanischen Zone, einem eineinhalbstündigen Audio-visuellen Parcours in der Essener Innnenstadt zu sehen. Die per Funkkopfhörer verteilte Audiospur der galvanische Zone forderte die Teilnehmer auf, sich vom Datenfenster scannen zu lassen, bevor ein Android der galvanische Zone den Zugang zu Lex Spielmanns Galerie “Alte Mitte” gewährte. Im Hinterhof der Galerie der Galerie war die nächste Station der galvanische Zone, eine mit einem Großbeamer animierte Fassade, zu sehen.
Das Datenfenster scannt die Besucher der galvanischen Zone.
Das Datenfenster der galvanische Zone scannt mich.
Die galvanische Zone wurde von dem Künstlerkollektiv Pluspolstadt (Teresa Grünhage, Matthias Plenkmann, Christian Spieß, Jens Maria Weber und Peter Eisold) realisiert. Ich habe mich sehr gefreut, dass meine Arbeit ein Teil der galvanischen Zone geworden ist. An den acht Terminen im November 2016 haben Gruppen von bis zu 50 Besuchern an dem einmaligen interaktiven Parcours / Installation / Audio / Video / Musik / Text / Performance / Projektion / Medienkunst / Theater / Roboter / Vergangenheit / Dokumentation / Zukunft / Parallelwelt / Realität, also einem eigentlich unbeschreiblichen Erlebnis teilnehmen können. Vielen Dank an die Helfer und Mitarbeiter der galvanische Zone, die bei teils eisigen Temperaturen die Zone am Leben erhalten haben!
Die galvanische Zone ist nun gestartet. Eine Variante meiner “Observed”-Installation ist als Beitrag zur galvanischen Zone im “Datenfenster” in den Parcour integriert. Noch bis zum 26.11.2016 ist die Teilname möglich. Tickets und weitere Infos gibt es hier: http://die-galvanische-zone.de/?page_id=92
Update 18.11.2016: Leider sind alle Termine schon ausverkauft!
Wer noch zur Teilnahme motiviert werden möchte, klicke einfach auf das Video in der Mediathek:
Das Video wird direkt aus der Mediathek des WDR abgespielt und ist verfügbar bis zum 10.11.2017. Update 2018: Das Video findet sich nun auch bei Vimeo!
Ich freue mich auf “Die galvanische Zone“, einen audiovisuellen Parcours in der City Nord in Essen, in der auch eine Arbeit von mir zu sehen sein wird. Der Parcours ist vom 5. bis zum 26. November 2016 besuchbar. Es lohnt sich!
Da das Depot Spielort der Extraschicht – Nacht der Industriekultur 2016 am 25.6.2016 war, sind auch viele Ateliers für dieses Event geöffnet gewesen. Wir im Büro 14 waren auch dabei. Heike Kollakowski hat einen Handlettering-Workshop angeboten und ich habe die Gelegenheit genutzt, um die Installation Observed 4 auszustellen. Mit dem sehr engagierten Publikum gab es angeregte und auch kontroverse Diskussionen.
Observed 4 für die Extraschicht – Nacht der Industriekultur
Der Live-Stream der Installation „generated“ war nur während der Ausstellungszeiten der offenen Ateliers Dortmund 2016 verfügbar. Hier gibt es aber kurze Aufzeichnung der computergenerierten selbstähnlichen Musik der Installation zum Anhören oder Download.
Die Musik wurde mit Pure Data extended erzeugt. Der Pure Data „Patch“ basiert auf auf einem großartigen Patch von Martin Brinkmann, der von mir um eine Open Sound Control (OSC) und eine Schnittstelle zum Icecast Streaming Server ergänzt wurde. Der Sound des einzigen eingesetzten Synthesizer-Moduls kann mit einem Smartphone per OSC modifiziert werden. Der Musikgenerator von Martin Brinkmann (hier gibt es Ambient-Musik von ihm!) verwendet die fraktale Kompositionsmethode von Lars Kindermann, die dieser für “musinum” implementiert hat. Auch die Idee zu selbstähnlicher Musik stammt ursprünglich von Lars Kindermann, auf dessen Webseite ich auch schon einmal vor einigen Jahren das Projekt PALAOA bei Recherchen zu einer geplanten Teilnahme an Arctic Perspective gefunden hatte.
Am 21.05.2016 starten die Offenen Ateliers 2016 in Dortmund, die in diesem Jahr aufgrund der Teilnehmerzahl zum ersten Mal an zwei Wochenenden stattfinden. Los geht es dieses Mal mit allen Ateliers und Galerien, die östlich der B54 liegen. Diese Ateliers sind am Samstag den 21.5. von 15-20 Uhr und am Sonntag von 11–18 Uhr geöffnet.
Am Samstag den 28.05. und Sonntag den 29.5. öffnen dann alle Künstler westlich der B54 ihre Türen.
Da der Kulturort Depot an der Immermannstraße 29 knapp westlich der B54 liegt, und ich seit über einem Jahr meinen kleinen Atelierplatz im Büro 14 habe, werde ich mich hier am 28.05. ab 15 Uhr gemeinsam mit der Künstlerin Heike Kollakowski auf interessierte Besucher freuen!
Die Öffnungszeiten an beiden Wochenenden:
samstags 15–20 Uhr
sonntags 11–18 Uhr
Und hier noch einmal die Termine für die Offenen Ateliers 2016:
Östlich der B54: 21./22. Mai 2016
Westlich der B54: 28./29. Mai 2016
Während der Ausstellung gibt es einen Audio-Live-Stream zu einer Installation. Es handelt sich dabei um computergenerierte selbstähnliche Musik, die über Kopfhörer an der Installation gehört werden kann. Der Stream ist aber auch während der Öffnungszeiten weltweit mit jedem Rechner und jedem Smartphone abrufbar. Moderne Smartphones spielen den Stream direkt im Browser ab, ohne das spezielle Audio-Software erforderlich ist.
