Een gesprek met Yagiz Mungan, CODAME-artiest

Een reeks interviews met artiesten en sprekers tijdens het CODAME ART + TECH Festival [2018] door Irene Malatesta

Yagiz Mungan, interdisciplinaire kunstenaar

De interdisciplinaire kunstenaar Yagiz Mungan maakt werk dat VR / AR, geluid / muziek, interactie, performance, virtuele werelden en gaming combineert. Hij is vooral geïnteresseerd in generatieve strategieën voor het creëren van beeld en geluid, en manieren om technologie te gebruiken om de grenzen van menselijke waarneming en emotionele respons te verleggen. Zijn werk is vaak bedoeld om bekende ervaringen opnieuw te contextualiseren, of gaat over griezelige technologische ontmoetingen in het moderne leven.

Mungan heeft een MSc in computer engineering en MFA in interactieve kunst en heeft zijn werk over de hele wereld tentoongesteld. Voor het CODAME ART + TECH Festival 2018 toont Mungan een project genaamd Illy, een AI die communiceert via geluid zonder taal.

Het CODAME-festival van dit jaar, met de codenaam #ARTOBOTS, zal 4 dagen lang bestaan ​​uit installaties, workshops, lezingen en meer, allemaal gericht op de groeiende invloed van kunstmatige intelligentie en robotica in de moderne wereld. In dit gesprek bespreekt Mungan die thema's en meer, waaronder zijn achtergrond en vroege geluidsexperimenten, hoe hij verschillende technologische media mengt om nieuwe mediakunst te creëren en hoe VR ons kan helpen het onmogelijke te ervaren.

IM: Hallo Yagiz, bedankt dat je ermee hebt ingestemd om te chatten. Je bent een artiest die werkt met interactieve installaties, interactieve muziek en mixed reality. Kun je beginnen met een beetje te praten over wie je bent en wat voor soort werk je maakt?

YM: Ik vind het leuk om interactieve dingen of generatieve dingen te maken, waarbij de computer of de software deel uitmaakt van de ervaring als actieve agent. Vroeger studeerde ik techniek en ik werd geïnspireerd om te kijken hoe ik mijn projecten creatiever kon maken. Ik heb gekeken naar algoritmische en generatieve benaderingen van mijn werk. Ik kon bereiken waar geen gebruiker was, maar er was meer expressie via software. Vanaf daar ging ik over op gaming: game-ontwerp en interactieve installaties.

Ik heb altijd met muziek en kunst gewerkt, maar technologie en kunst waren in mijn jeugd twee aparte dingen; ze bestonden niet samen. Mijn idee om ze te combineren groeide in de loop van de tijd. Toen ik begon met het genereren van algoritmen, schreef ik software die muziek componeerde en visuals creëerde. Ik kwam in systemen waarmee je kunt communiceren, om muziek, video's te maken, code te maken voor een game of installaties.

Mixed reality of VR is gewoon een ander medium om installaties te maken, als je wilt. En in VR heb je geen fysieke beperkingen op wat je kunt creëren.

Het klinkt alsof je jezelf vooral zou kunnen omschrijven als een artiest die werkt met interactiviteit, en al deze verschillende media waren verschillende manieren om daar aan te komen.

Dat is een manier om het te zeggen, ja. Voor mij zou ik zeggen "interdisciplinaire" artiest, omdat coderen mijn vak is. Geluiden zijn voor mij altijd de belangrijkste aspecten van een ding: ik probeer het altijd geluids- of muziekgericht te maken. Visuals zijn er altijd, maar ik probeer altijd om het geluid een heel belangrijk onderdeel van het project te maken en eromheen te bouwen, in tegenstelling tot "Laten we wat muziek op de achtergrond zetten". In plaats daarvan wil ik het meestal maken over het maken van muziek.

Dat is interessant, want dat is een heel ander standpunt over of de muziek het onderwerp is of dat de muziek op de achtergrond is. U zei eerder dat coderen uw vak is. Je hebt een Master in Computer Engineering en ook een MFA in Electronic Art. Kun je iets vertellen over je achtergrond en waar je vandaan komt, en hoe je hebt besloten dat formele trainingspad te volgen?

Ik kom uit Turkije. Waar ik vandaan kom, in mijn jeugd, begin 2000, was het een cultuur waar je, als je een succesvolle student bent, bepaalde vakken moet gaan studeren. Ik had niet veel opties om uit te kiezen, dus ik studeerde Engineering.

Ik had altijd het gevoel dat er iets ontbrak. Toen ik mijn Masters-diploma behaalde, ging ik van het onderzoeken van wat er met programmeren of engineering kan worden gedaan, naar het besef, oké, ik kan dit gebruiken om de muziek te maken die ik leuk vind. Mijn masterthesis ging over het algoritmisch maken van composities. Toen ik er klaar mee was, dacht ik dat ik ook wat gebruikersinteractie wilde.

Mijn tweede Masters ging over interactieve kunst als een op tijd gebaseerd medium. Dat was gericht op installaties, meer op kunst gebaseerde ideeën en gebruikersinteractie. Dat was een soort van mijn pad.

Je creatieve pad is eigenlijk heel logisch: je bent een UX-ontwikkelaar, een universitaire instructeur geweest, je hebt aan game-ontwerp gewerkt ... je hebt veel verschillende dingen gedaan, maar ze hebben allemaal dit onderdeel van creativiteit betrokken, iets gecreëerd en interactiviteit gecreëerd en engineering. Je hebt ook veel gereisd. Kun je iets zeggen over de banen die je hebt gehad en de steden waar je bent geweest?

Dat is een interessante vraag omdat ik zoveel tijd op de middelbare school heb doorgebracht. Als het op banen aankomt, zijn de titels die ik heb veranderd, maar wat ik doe, is grotendeels hetzelfde. Wat ik het meest interessant vind, is het werk dat ik doe buiten mijn normale 'banen'. De mensen die ik ontmoet, de tech- en kunstgemeenschap in San Francisco. Praten met mensen in deze gemeenschap is altijd, meer dan vermakelijk, het geeft me het gevoel dat ik meer moet doen. Niet op een competitieve manier, maar weet je, ik voel me geïnspireerd!

Ik ben in veel steden geweest. Ik was in Indiana na mijn studies. Ik ben in Zweden geweest en daarna enige tijd in Duitsland. Veel tijd in Turkije. Wat de kunstgemeenschap betreft, ik kan bijvoorbeeld Indiana niet vergelijken met San Francisco, omdat het zo anders is. Hier zijn er altijd nieuwe mensen te ontmoeten. Er gebeuren hier zoveel dingen.

Was er, met betrekking tot uw werk in het bijzonder, een bepaald project dat u al vroeg inspireerde?

Ik was altijd al bezig met muziek sinds ongeveer zeven jaar. Mijn belangrijkste instrument is de gitaar. Ik speel ook synthesizers. Ik denk dat dat begon toen ik in een klas zat, en ik maakte een heel eenvoudige code voor het maken van geluid en ik was geïnteresseerd om verder te gaan. Ik keek naar het basisonderzoek, er zijn veel dingen die er zijn, en ik realiseerde me dat er een veld bestond dat ik kon bestuderen, onderzoek om mezelf te verbeteren.

Voor het eerste deel was het een beetje toevallig. Je krijgt bijvoorbeeld altijd advertenties, e-mails van leveranciers en dat is alles, zie de nieuwe spreker, wat dan ook. Ik herinner me dat ik de e-mail kreeg waarin stond dat de nieuwe spreker een bepaalde frequentierespons had en ik dacht: "Mensen kunnen dat niet horen!" Ik werd geïnspireerd om het te testen. Ik heb een simpele code gemaakt om dat geluid af te spelen en natuurlijk hoorden we niets van de laptop.

Dit was slechts een vroeg experiment. Ik had gewoon plezier, en toen realiseerde ik me dat ik op deze manier muziek kan maken. In de loop van de tijd ontdekte ik een hele reeks tools die mensen hebben gebruikt voor creatieve technologie. Het was voor mij de eerste stap.

Laten we het een beetje hebben over het werk dat u nu maakt. Kun je iets vertellen over je huidige creatieve projecten waar je het meest enthousiast over bent en ook wat je drijft om ze te maken? Waarom maak je ze, wat wil je vooral communiceren?

Welnu, mijn werk gaat langs twee paden. Soms is er iets in de beeldende kunst dat ik wil onderzoeken, of een gebruikersinteractie waar ik nieuwsgierig naar ben. Er is dus geen echte boodschap of betekenis, maar ik wil gewoon zien waar ik terechtkom vanuit een meer esthetische positie. Soms, alsof er iets is dat me stoort of me aan het denken zet, maak ik daar een stuk over.

Op dit moment ben ik op weg naar meer werk met muziekvisualizers en creëer ik abstracte landschappen door middel van muziek. Ik probeer weg te komen van de oude abstracte vormen en om meer realistisch ogende beelden te krijgen. Het is een leuk project, waarbij ik enkele visuele effecten onderzoek die ik door geluid kan sturen.

Waar gaat het om de landschappen waar je naar toe trekt, waarom landschappen?

Nou, ik zou niet zo graag landschap als in de natuur zeggen, maar landschappen bijvoorbeeld in een stad. Zoals wanneer je in een coffeeshop zit en mensen de straat ziet oversteken. Ik kan zoiets creëren dat in het echte leven onmogelijk zou zijn, met sommige mensen die omhoog gaan, sommige mensen die naar beneden gaan ...

En dan kan ik motion capture gebruiken om dit te creëren. Gebrokenheid interesseert me, het feit dat ze niet echt bestaan ​​of niet kunnen bestaan.

Om uw kunstwerken te maken, gebruikt u Unity en WebGL. Kun je wat meer vertellen over mediums en tools die je gebruikt om je werk te maken? Wat vind jij het belangrijkst?

Ja, dat zijn mijn twee belangrijkste tools voor de beelden. Ik werk graag in een ruimte en werken in fysieke ruimtes is interessant maar niet altijd betaalbaar of praktisch. Daarom werk ik graag in virtuele ruimtes, of combineer ik ze, dus alsof er fysieke aspecten zijn aan de virtuele aspecten. In die gevallen gebruik ik Unity of WebGL.

De reden dat ik voor de een of de ander kan kiezen, is als er iets specifieks is dat ik nodig heb in een van hen. Ik kies voornamelijk op basis van de distributiemiddelen. Als ik het werk online aan mensen moet verspreiden, dan ga ik naar WebGL, de browser-manier, [ik] gebruik graag de bibliotheek three.js zodat je gewoon een link kunt delen en anderen er toegang toe hebben. Voor een evenement, ik gebruik graag Unity. Het is erg leuk en makkelijk te gebruiken met veel mogelijkheden. Het is iets moeilijker te verspreiden.

Een ander ding [om te overwegen] is trouw. Met mijn vaardigheden kan ik een betere kwaliteit krijgen in Unity, wat soms belangrijk is. Voor het geluid is het een beetje interessant voor het geluid. Ik ben dol op Unity, maar de mogelijkheden voor het maken van geluid zijn vrij beperkt. Meestal koppel ik iets anders als MAX / MSP, dat lijkt op een tool voor live prestaties, maar dat maakt het moeilijker om het algehele product te implementeren of naar anderen te verzenden.

Als ik in een ruimte werk, gebruik ik graag veel van de geluiden in die ruimte om terug te mengen in de tentoonstelling, de geluiden vast te leggen en terug te verwerken. Ik vind het soms ook leuk om mijn eigen composities gitaar te laten spelen als onderdeel van de ervaringen die ik creëer.

Wat voor soort emotionele artistieke inhoud wordt volgens jou nu mogelijk dankzij mixed reality-technologieën? Je werkt in VR met al deze nieuwe tools. Er is natuurlijk een reden waarom artiesten VR willen gebruiken om iets nieuws te communiceren, toch?

Ja. In de fysieke wereld zijn er veel dingen die je niet kunt bereiken, vanwege basisbeperkingen zoals ruimte of middelen zoals geld, enzovoort. Wat VR je geeft, is dat vermogen om dingen te creëren, zoals onmogelijke scenario's. Het plaatst je in het onmogelijke vanuit het oogpunt van de eerste persoon. Alles wordt ineens echt, zoals: "Ik kan dit echt aanraken."

Een van de dingen die ik onlangs deed, was een VR- en dansstuk. Freya Olafson en ik hebben deze dansende avatars gemaakt. Zodra je er genoeg van hebt gemaakt, voelde het net alsof je op de bosbodem bent van een torenhoge, robotachtig bewegende avatars. Het creëerde een subliem gevoel. Je kunt er niet zo gemakkelijk komen. Zo ver komen dat het niet mogelijk is, maar je voelt plotseling: 'Ik ben hier eigenlijk, dit is onmogelijk.'

Sommige mensen gebruiken VR om de fysieke wereld na te bootsen en dan wordt het gewoon leuk, als een grap. Voor mij is het interessant om mensen in deze onmogelijke situaties te brengen waarin het een heel persoonlijke vorm van ervaring wordt. Je ziet het met je eigen ogen. Het kan je echt raken.

Foto van Motion Aftereffect door Freya Bjorg Olafson en Yagiz Mungan, 2017. Foto door Robbie Sweeny. Dit werk is ontwikkeld via het CounterPulse Artist Residency Commissioning Program met de steun van de National Endowment for the Arts, de Zellerbach Family Foundation en het Ken Hempel Fund for the Arts. Meer informatie hier.

Kunstenaars zijn al heel lang op verschillende manieren bezig met het sublieme. Denk je dat mixed reality-technologie een bijzonder goed medium of ruimte is om dat gevoel over te brengen?

Ja, ik denk van wel. Het is een medium voor alles, maar het feit dat je mensen overal kunt plaatsen, is erg sterk omdat je mensen overal kunt plaatsen waar je je voorstelt, niet alleen in een landschap, maar ook in een mentale staat. Het hoeft geen echte ruimte te zijn waar ze op kunnen staan. Het kan een ruimte zijn zonder enige grond, of het kan een overgangsruimte zijn. Het kunnen gewoon lichtjes en geluiden zijn. Het zou geen ruimte kunnen zijn. Dat is behoorlijk sterk.

Absoluut. En wat dacht je van een beetje in de toekomst kijken? Zijn er nieuwe technologieën waar je super enthousiast over bent en die zich nog in de proof of concept-fase bevinden, maar naar jouw mening nog niet echt volledig zijn gebruikt om kunstwerken op hoog niveau te maken?

Er is altijd de lineaire vooruitgang die opkomende technologieën hebben. We hebben nog steeds te maken met netwerkkabels en soms worden de kabels verontrustender dan het stuk! Maar wat betreft de nieuwe technologieën, het zou interessant zijn om te zien waar AR naartoe gaat. Op dit moment schraapt het gewoon het oppervlak, maar als het er echt wordt, is het moeilijk te zeggen wat augmented reality is en wat fysiek is. Dat zal interessant en eng zijn.

Standpunten van Illy, door Yagiz Mungan

Laten we het hebben over het komende CODAME ART + TECH Festival. Kun je ons vertellen over het werk dat je gaat laten zien?

Het wordt een versie van Illy, een semi-intelligent systeem. Het is een project in ontwikkeling dat al een tijdje aan de gang is.

Het uitgangspunt voor Illy was een apparaat: een Amazon Alexa of Google Home. Wanneer je een van deze gebruikt, praat je met een plastic ding, je zegt iets en je verwacht een resultaat. En als je dat resultaat krijgt, voel je je gelukkig en tevreden, maar als er staat: "Oh, dat heb ik niet begrepen", voel je je gefrustreerd. Als het het verkeerde nummer afspeelt, raak je gefrustreerd.

Nadat ik dit proces met mijn accent had doorlopen, had ik de moeite dat ik zo gefrustreerd kon raken over een plastic bot. Nadat ik daar een beetje over had nagedacht, bedacht ik Illy, een kunstmatige intelligentie die geen Engels verstaat. Illy verstaat geen enkele taal, verstaat praten niet, maar probeert de stemmen, de toonhoogte, het volume, de belangrijkste kenmerken van geluid te interpreteren en probeert op basis daarvan te reageren. Het creëert een communicatie waarbij beide partijen weten dat er geen begrip zal zijn. Het is aan jou om enige betekenis te geven aan wat er staat.

Dus het communiceert terug als je ermee praat, maar niet in taal?

Precies. Het gesprek is meer een monoloog, maar het is aan jou wat er staat. Dat is dus het belangrijkste idee. Er komt ook een VR-project of een groot scherm. Je kunt Illy zien als iets dat gewoon rauwe geluiden maakt, of het kan je meest begripvolle huisdier zijn, of je kunt het als een baby behandelen. Zoals je weet, praat je met een baby. Je weet dat de baby je niet begrijpt. Het draait allemaal om hoe je je voelt.

Wat wil je dat mensen weten over je werk? Of waar zou je het meest aan willen denken als ze je werk op het festival zien?

Het gaat over onze relatie met dingen, met technologie, met AI's en hoe de communicatiemiddelen ons perspectief en onze verwachtingen veranderen. Ik zeg bijvoorbeeld nu iets en je kunt het begrijpen omdat we dezelfde symbolen gebruiken, maar als ik in het Turks zou praten, zou dat alleen maar ruis zijn en helemaal niet waardevol voor je.

Of overweeg de relatie tussen mensen zoals wanneer je naar een coffeeshop gaat en koffie vraagt. Meestal verwachten we in ons haastige leven: 'Deze persoon geeft me koffie.' Als die persoon een praatje met je probeert te maken, is je reactie: 'Ik moet gaan, waarom verspil je mijn tijd!' Het is zo klein, maar echt bewust zijn van deze interacties versus onbewust bewust zijn, is heel anders.

Het is interessant om na te denken over hoe geluid, de kwaliteit van geluid en de betekenis van taal vaak met elkaar versmelten. Zoals in je project: je presenteert het op die manier, maar we weten dat we iets heel gemeens kunnen zeggen met een heel lieve stem, en vice versa. Het is heel gemakkelijk voor ons om deze verwachtingen te hebben die dan verkeerd zijn, omdat we gewoon ons eigen perspectief toepassen.

Dat is de culturele constructie. Verschillende talen hebben verschillende manieren om dingen te zeggen. Als sommigen bijvoorbeeld iets "schattigs" uitspreken in één taal, kan het klinken alsof ik tegen je praat. Al deze betekenissen zijn door mensen gemaakte culturele dingen waarover we het eens moeten zijn. Je hebt de juiste decoder nodig om te begrijpen, en wat als je die niet hebt?

Maak verbinding en leer meer over Yagiz Mungan op de CODAME-site:

Je vindt zijn werk op het CODAME ART + TECH Festival [2018], een vierdaagse conferentie met workshops, lezingen en uitgaansevenementen @ The Midway, San Francisco, 4–7 juni 2018, met de codenaam #ARTOBOTS:

CODAME ART + TECH Festival [2018] #ARTOBOTS

Irene Malatesta is schrijver, creatieve strateeg en liefhebber van digitale kunst in San Francisco. Je kunt haar vinden op Twitter en Instagram @irenekaoru.