Am Samstag den 20.1.2018 um 19:30 Uhr bin ich zu Gast in der Blam!-Galerie, Lange Straße 92, in Dortmund und präsentiere dort die interaktive Audio-Performance: „NOMUZIK – Musik von Nichtmusikern – Geräusche von Künstlern“.

Neben einigen Audio/Musik-installationen (*), die ich dort zeigen werde, gibt es auch einen Vortrag mit einigen Audio-Demonstrationen zu sehen. Im Vortrag dreht sich  alles um die Geschichte des Audio-Loops und um analoge und digitale elektronische Klangerzeuger, die in der Performance ausprobiert werden.

In der anschließenden Performance, ganz im Stil der „genialen Dilettanten“,  wird gemeinsam mit dem Publikum und dem Blam!-Akteuren musiziert. Das geschieht in einer interaktiven Performance, bei der sich viele Besucher einfach eines der vielen Instrumente/Gadgets/Spielzeuge benutzen, die ich mitbringen werde. Eigene analoge oder batteriebetriebene Musikspielzeuge mit Lautsprecher, Gadgets oder Instrumente können gerne mitgebracht werden.

Es sind keinerlei musikalische Kenntnisse nötig. Im Gegenteil, professionellen Musikern ist der Eintritt eigentlich verwehrt ;-). Durch den Einsatz von mehreren „Loopern“, elektronischen Bandschleifen, entsteht aus Geräuschen durch Repetition Musik, frei nach der These des Loop- und Musique Concréte Pioniers Pierre Schaeffers:

„Wenn man dasselbe Ding wiederholt, wird es Musik“

(*) Gezeigt werden u.A.

•  ein „analoger Sequenzer“, der über Kontakte auf einem einen Plattenteller mit Obst-Wiederständen (Biosensoren) abgestimmte Tongeneratoren betätigt.
• Ein großer Touch-Sequenzer auf einem Beamer, der per Kinect-3D-Sensor bedient werden kann.
• computergenierte selbstähnliche Musik, die es während der Performance auch als Stream zu hören gibt: http://www.pediaphon.org:8000/live.mp3
• extrem langsam abgespielte transponierte minimal Music.

Da es sich auch um die Blam!-Abschiedsveranstaltung (sehr schade!) handelt, gibt es dort auch Bowle. Um 19:30 Uhr geht es los!

Das „making of“, habe lange nicht mehr so viel gelötet 😉

In diesem Jahr nehme ich zum ersten Mal im Depot an der „Kunst und Punsch“ teil. Außerdem sin in diesem Jahr in allen Ateliers des Depots Gastkünstler eingeladen worden.

Gastkünstler in unserem (Heike Kollakowski & myself) Atelier Büro 14 im Depot Dortmund ist Jens Maria Weber, der wunderbare Illustrationen und eine großartige Skulptur ausstellt.

Der Aufbau im Atelier für Augmented Reality. Zwei AR-Brillen mit meiner Android-App und eine modifizierte Videobrille die an eine PC angeschlossen ist. Auf dem großen Monitor ist der first Person View des Videobrillenträgers für weitere Betrachter sichtbar.

Meine robotnet ObservedAR-Android-App im Screenshot mit der neuen Verpixelungsfunktion.

Ich präsentiere dort neben der Augmented Reality Installation ObservedAR, die um eine Verpixelungs-Funktion ergänzt wurde, auch eine kleine Installation, die eigentlich als Beitrag für blams Tierleben gedacht war, aber aus Zeitmangel nun hier gezeigt wird. Rahmenbedingung für die Blam war ein Exponat, dass ein Tier darstellt (lebenden Tiere ausgenommen). Im meinem Fall muss es dann natürlich ein intelligentes robotisches Tier sein.

Die robotische Installation heißt „beA.S.T“ und enthält Zitate von Douglas Adams, Nina Hagen, Marc Uwe Kling, René Descartes, George Orwell und aus der „Allgemeinen Erklärung Tierechte“, die mit Text-to-Speech-Techniken eingesprochen werden.

Die Öffnungstermine für Kunst und Punsch im Depot Dortmund:

SO 3.12.2017 DO 07.12.2017 , SO 10.12.2017 , DO 14.12.2017
geöffnet ist jeweils:
DO von 17 bis 20 Uhr
SO von 15 bis 18 Uhr

Gemeinsam mit Heike Kollakowski öffne ich unser Atelier im Depot Dortmund für die Offenen Nordstadtateliers am 9. (15-22 Uhr) und 10.9.2017 (11-18 Uhr). Ich zeige dort eine Audio-Installation erstellt mit pure data, die auf einem alten analogen Röhrenoszilloskop spannende Muster darstellt. Weiterhin gibt es erstmals die Augmented Reality-Version von „Observerd“ mit Namen „ObservedAR“ und die Installation „data cloud“ zu sehen.

Kunst am Oszilloskop

Drei Head Mounted Displays sind bereit zum Ausprobieren! v.l.n.r: Dive, modifizierte (Kamerabohrung) flyingtiger VR-Brille, modifizierte Videobrille mit aufgeklebter Webcam.

Links: ObserverdAR- Installation, Rechts: „data cloud“-Installation

„Observed-AR“
Die Arbeit mit dem Titel „Observed“ soll den Betrachtern die allgegenwärtige Überwachung und die Aggregation von Metadaten bewusst machen. Die interaktive Videoinstallation verfolgt mittels „face tracking“ die Gesichter der Betrachter in Echtzeit und markiert diese. Es werden Daten über jedem beobachteten Gesicht eingeblendet, die keinesfalls öffentlich zugänglich sein sollten, um das Bewusstsein zu schaffen, dass jeder etwas zu verbergen hat. Die „Observed-AR“ Installation stellt in Echtzeit als Augmented Reality Darstellung aus dem subjektiven Blickwinkel des Trägers mit Hilfe von Datenbrillen diese Informationen dar. Eine Variante realisiert eine Hardware Lösung mit Videobrille, montierter USB-Camera und VGA2Video-Umsetzer und externem PC als Zuspieler. Gleichzeitig wird der subjektive Blickwinkel des Betrachters auf einem großen Display für eine „Ich sehe was was Du siehst“-Funktionalität dargestellt. Eine alternative Realisation in Software als Android-App ist als bewegliches Pendant ausgestellt.

Oberserved-Installation in Augmented Reality – La vie en rouge (Schuhe: New Yorker – T-Shirt: Gulaschprogrammiernacht 2017 – Pudel: Heike Kollakowski)

Und so sieht der Blick durch das HMD (Head Mounted Display, hier Smartphone mit selbst entwickelter APP) aus.

“data cloud” Videoinstallation
Die Installation startet mit einem leeren Screen und füllt sich interaktiv bei Annäherung von mit Smartphone ausgestatteten Betrachtern. Voraussetzung ist die eingeschaltete WLAN-Funktion auf den Smartphones der Besucher. Viele Smartphone-Nutzer haben diese Funktion ständig eingeschaltet und sind sich nicht bewusst, dass ihre Geräte so eine Datenspur hinterlassen und getrackt und wiedererkannt werden können. Die WLAN-MAC-Adressen von Smartphones in WLAN-Reichweite und die von diesen Geräten gesuchten WLAN-Accesspoint-Namen werden als Datengrundlage verwendet. Die Live-Daten werden mittels “tshark” (Terminal basiertes Wireshark) aus den WLAN-Profilen von Smartphones in WLAN-Reichweite gewonnen, die ständig nach bekannten WLAN-Netzen in ihrer Umgebung suchen. Auf diese Weise sind Smartphones eindeutig identifizierbar (Fingerprinting). Dieses Verfahren wird auch in Geschäften und Ladenlokalen eingesetzt, um Kunden zu identifizieren und wieder zuerkennen. Die Installation soll den Betrachtern das allgegenwärtige Ausstreuen von personenbezogenen Daten bewusst machen und eine Sensibilisierung zu Datenschutz- und netzpolitischen Themen fördern.

Das Backend der beiden Installationen

Einmal auf der Documenta ausstellen, wer möchte das nicht. Die Documenta ist neben der berechtigtigten inhaltlichen Kritik  leider wenig zeitgenössisch aufgestellt und zeigt nur etablierte Kunst. Ein Teil der ausgestellten Künstler schon nicht mehr am Leben und der Rest ziemlich betagt.

Mit virtuellen Exponaten in Augmented Reality geht das natürlich auch für respektlose Jungspunde und so habe ich mein AR-Projekt WordzInTheCity von 2012 um Komponenten in Kassel ergänzt. Die Android-App von 2011 funktioniert weiterhin bei eingeschaltetem GPS und einer funktionierenden Datenverbindung in das Internet. Informationen dazu und den Download Link findet man auf der Projektseite zu WordzInTheCity.
Diese Screenshots habe anläßlich eines Besuchs der dokumenta 14 in Kassel angefertigt. Die Texte und Marker werden abhänging von der Orientierung und Position des Smartphones in Echtzeit in das Videobild eingeblendet.

Das Parthenon der verbotenen Bücher im robotnet hack.

Friedrichsplatz – documenta 14 – hack

Aber auch eine physische Arbeit habe ich auf der Documenta 14 „ausgewildert“. Die Position in der Karlsaue ist in der WordzInTheCity APP dokumentiert. Es handelt sich um ein während der offenen Ateliers in Dortmund entstandenen Roboter-Stempel, der hier wetterfest als Druck in einem Button ausgeführt ist. Die genaue Position in GPS-Koordinaten lautet  (Lon./Lat.): 51.304334,9.493238.

Mein augewilderter DoCuMeNTa-Roboter auf den GPS Koordinaten 51.304334,9.493238

Die Abstände in Metern stimmen noch nicht genau, da ich die Höhe über Normalnull auf Dortmund bezogen hatte. Das werde ich aber noch in der App korrigieren. Update: Alles um 80 Meter angehoben, das Exponat um 12m.

Ich experimentiere derzeit mit einer Augmented Reality Version meiner Observed-Installation. Ziel ist die Installation in Echtzeit als Augmented Reality Darstellung aus dem subjektiven Blickwinkel des Trägers mit Hilfe einer Datenbrille darzustellen.

Approach 1: Eine einfache Hardware Lösung mit Videobrille, montierter USB-Camera und VGA2Video-Umsetzer und externem PC als Zuspieler:

Augmented Reality mit Videobrille, montierter USB-Camera, VGA-Umsetzer und externem PC als Zuspieler

Diese Lösung habe ich sehr schnell realisiert, es ist aber nur Video-(TV)-Auflösung verfügbar. Der Anwender ist nicht sehr beweglich, da Video und USB-Kabel mitgeführt werden müssen.

Approach 2: Realisierung in Software als Android-App:

Meine Android-App im Screenshot. Bild im Hintergrund (c) Heike Kollakowski

Das Android-Smartphone wird hier von einer Dive-VR-Brille gehalten. Das Google Cardboard funktioniert natürlich auch! Vorteile: Höhere Beweglichkeit und Skalierbarkeit. Obwohl die Rechenleistung aktueller Smartphones stark zugenommen hat, waren doch ein paar Tricks und Optimierungen nötig, um eine akzeptable Framerate zu erzielen. Die App ist derzeit noch nicht im Android-Store erhältlich.

Das Head Mounted Display (HMD) mit Android Smartphone zeigt Observed in Echtzeit als Augmented Reality Darstellung aus dem subjektiven Blickwinkel des Trägers. Hier realisiert mit DIVE und Nexus4.

Beide Ansätze realisieren nicht wirklich Stereo-Vision, da jeweils nur eine einzige Kamera eingesetzt wird. In der Android- App-Variante kann aber die überlagerte Animation Tiefeninformation enthalten, da die Teilbilder einzeln erzeugt werden. Die Videobrille akzeptiert nur eine einzige Videoquelle, so dass prinzipbedingt kein Stereo-Vision möglich ist. Die App-Variante kann zwei Cameras nutzen, sofern sie im Smartphone verbaut sind (z.B. Oppo) bzw. auch sinnvoll im Augenabstand angeordnet sind. In der Wikipedia findet sich eine Liste von Smartphones, die 3D-Vision unterstützen.

Ich plane die Videobrille mit einem Raspberry pi zero und der Raspi-Camera auszustatten, um sie auch kabellos  nutzen zu können.

Update: Die Observed-Installation äuft mit speziellem Video-Library auch auf dem pi zero. Die erreichbare Framerate (ca. alle 3 Sekunde ein Frame) ist aber nicht akzeptabel.

Der klitzekleine raspbery pi zero rendert was das Zeug hält die Observed Installation in 320×240 Auflösung…

… und nimmt dabei nur 5 Watt Leistung auf. Green-Art 😉

Der Kulturort Depot ist wieder bei der Extraschicht 2017 dabei gewesen und die Ateliers der Künstler im Depot waren geöffnet. Und so haben auch Heike Kollakowski und ich am 24.6.2017 eine Extraschicht eingelegt und unser gemeinsames Atelier im Büro 14 des Depots geöffnet.

„data cloud“ Videoinstallation

Ich habe dort meine neue Videoinstallation „data cloud“ gezeigt, die WLAN-MAC-Adressen von Smartphones in WLAN-Reichweite und die von diesen Geräten gesuchten WLAN-Accesspoint als Datengrundlage verwendet.

Interaktive Videoinstallation „data cloud“

Die Installation startet mit einem leeren Screen und füllt sich interaktiv bei Annäherung von mit Smartphone ausgestatteten Betrachtern. Voraussetzung ist die eingeschaltete WLAN-Funktion auf den Smartphones der Besucher. Viele Smartphone-Nutzer haben diese Funktion ständig eingeschaltet und sind sich nicht bewusst, dass ihre Geräte so eine Datenspur hinterlassen und getrackt und wiedererkannt werden können. Die Installation soll den Betrachtern das allgegenwärtige Ausstreuen von personenbezogenen Daten bewusst machen und eine Sensibilisierung zu Datenschutz- und netzpolitischen Themen fördern.

data cloud in der Rückprojektion

Und so sah die Rückprojektion von vorne aus.

Erstmals habe ich die Installation mit zwei großen Beamern präsentiert.  Es gab sowohl eine Frontpräsententation mit einem Kurzdistanzprojektor als auch eine Rücktransformation auf Transparentpapier.

Das Technik-Backend

Audio-Pong

Da bei der Extraschicht immer sehr viel Publikum unterwegs ist, habe ich mir dieses Mal etwas Besonderes überlegt. Alternativ zu der großen Videoinstallation konnte ich ein Audio-Pong präsentieren, nachdem die von Heike Kollakowski im Rahmen der Extraschicht angebotenen Handlettering Workshops beendet waren. Das bekannte Pong-Spiel (eine Implementierung in Processing) habe ich um eine Audio-Steuerung ergänzt, die es ermöglicht, dass zwei Spieler per Mikrofon über die Lautstärke der Stimme Ihren Pong-Schläger steuern konnten. Dieses Konzept gab es übrigens schon einmal in den 70’er Jahren im Fernsehen unter dem Namen „Telespiele“ moderiert von Thomas Gottschalk. Interessanterweise kannte keiner der Besucher diese Sendung. Ich hatte diese Installation schon einmal im Dezember 2014 bei einer Veranstaltung eingesetzt und später auf der 32C3 eine ähnliche Installation gesehen. Zur Geschichte von Pong gibt es derzeit aktuell noch ein Video in der ZDF-Mediathek zum Download (1,4GB, Die Amiga-Story, alternativ bei youtube).

Audio Pong mit Mikrofonsteuerung

Auch alte Computer / Telespiele sind meiner Ansicht nach Zeugnisse der Industriekultur. Den Besuchern und auch mir hat die Aktion sehr großen Spaß bereitet, da teils sehr lustige Laute zu hören waren ;-).

Da das Depot Spielort der Extraschicht – Nacht der Industriekultur 2016 am 25.6.2016 war, sind auch viele Ateliers für dieses Event geöffnet gewesen. Wir im Büro 14 waren auch dabei. Heike Kollakowski hat einen Handlettering-Workshop angeboten und ich habe die Gelegenheit genutzt, um die Installation Observed 4 auszustellen. Mit dem sehr engagierten Publikum gab es angeregte und auch kontroverse Diskussionen.

Observed 4 für die Extraschicht – Nacht der Industriekultur

Der Live-Stream der Installation „generated“ war nur während der Ausstellungszeiten der offenen Ateliers Dortmund 2016 verfügbar. Hier gibt es aber kurze Aufzeichnung der computergenerierten selbstähnlichen Musik der Installation zum Anhören oder Download.

Die Musik wurde mit Pure Data extended erzeugt. Der Pure Data „Patch“  basiert auf auf einem großartigen Patch von Martin Brinkmann, der von mir um eine Open Sound Control (OSC)  und eine Schnittstelle zum Icecast Streaming Server ergänzt wurde. Der Sound des einzigen eingesetzten Synthesizer-Moduls kann mit einem Smartphone per OSC modifiziert werden. Der Musikgenerator von Martin Brinkmann (hier gibt es Ambient-Musik von ihm!) verwendet die fraktale Kompositionsmethode von Lars Kindermann, die dieser für „musinum“ implementiert hat. Auch die Idee zu selbstähnlicher Musik stammt ursprünglich von Lars Kindermann, auf dessen Webseite ich auch schon einmal vor einigen Jahren das Projekt PALAOA bei Recherchen zu einer geplanten Teilnahme an Arctic Perspective gefunden hatte.

observed 3 Screenshot

Am 21.05.2016 starten die Offenen Ateliers 2016 in Dortmund, die in diesem Jahr aufgrund der Teilnehmerzahl zum ersten Mal an zwei Wochenenden stattfinden. Los geht es dieses Mal mit allen Ateliers und Galerien, die östlich der B54 liegen. Diese Ateliers sind am Samstag den 21.5. von 15-20 Uhr und am Sonntag von 11–18 Uhr geöffnet.

Am Samstag den 28.05. und Sonntag den 29.5. öffnen dann alle Künstler westlich der B54 ihre Türen.

Da der Kulturort Depot an der Immermannstraße 29 knapp westlich der B54 liegt, und ich seit über einem Jahr meinen kleinen Atelierplatz im Büro 14 habe, werde ich mich hier am 28.05. ab 15 Uhr gemeinsam mit der Künstlerin Heike Kollakowski auf interessierte Besucher freuen!

Die Öffnungszeiten an beiden Wochenenden:
samstags 15–20 Uhr
sonntags 11–18 Uhr

Und hier noch einmal die Termine für die Offenen Ateliers 2016:
Östlich der B54: 21./22. Mai 2016
Westlich der B54: 28./29. Mai 2016

Während der Ausstellung gibt es einen Audio-Live-Stream zu einer Installation. Es handelt sich dabei um computergenerierte selbstähnliche Musik, die über Kopfhörer an der Installation gehört werden kann. Der Stream ist aber auch während der Öffnungszeiten weltweit mit jedem Rechner und jedem Smartphone abrufbar. Moderne Smartphones spielen den Stream direkt im Browser ab, ohne das spezielle Audio-Software erforderlich ist.

Alternativ direkt den URL anklicken:

http://zehn23.selfhost.eu:8000/live.mp3

Audio/Video -Installation „generated“ – Schatten- und Prismenspiel durch Rückprojektion auf Transparentpapier

Der URL des Live-Streams als QR-Code