Neuroverkoillako taidetta?

Viimeisen vuoden ajan olen ollut kiinnostunut taiteellisesta luomistyöstä tietokoneen avulla. Aluksi käytin Processing-kirjastoa jolla kirjoitin lyhyitä ohjelmia joilla muokkasin ja muuntelin stillkuvia ja webbikameran tuottamaa muuttuvaa kuvaa. Moni kokeiluista oli interaktiivinen, katsoja saattoi itse vaikuttaa siihen millainen kuvasta tuli. Palaan näihin kokeiluihin eri postauksessa.

Kun loppukesästä 2015 etsiskelin uusia keinoja muokata kuvia, löysin neuroverkot. Aivan vastikään oli julkistettu menetelmä, jolla saattoi käyttää neuroverkkoa yhdistämään yhden valokuvan sisältö toisen kuvan tyyliin. Lopputulokset olivat usein aika vaikuttavia.

Itse menetelmä on kuvattu kesäkuussa 2015 julkaistussa tieteellisessä artikkelissa  A Neural Algorithm of Artistic Style  (kirjoittaneet Leon A. Gatys, Alexander S. Ecker, ja Matthias Bethge). Jo syyskuun alussa algoritmista oli julkaistu useita avoimen lähdekoodin toteutuksia, joista valitsin kokeiluihini neural-stylen jonka on toteuttanut github-käyttäjä jcjohnson. Sekä alkuperäisessä artikkelissa että neural-stylen johdannossa ( README file) on useita esimerkkejä joissa kuuluisien maalausten tyyliä on sovellettu omiin valokuviin.

Tuotahan piti kokeilla. Olin juuri käynyt Tuusulanjärven Sarvikalliolla joka oli sata vuotta sitten suomalaisten taiteilijoiden suosikkikohteita. Otin pohjaksi sieltä ottamani valokuvan ja sovelsin siihen kuuden eri maalauksen tyyliä, suomalaisten lisäksi edustettuna on yksi venäläinen, virolainen ja norjalainen taitelija, kaikki 1900-luvun alkupuolelta. Miltä siis voisi näyttää jos he kaikki olisivat maalanneet täsmälleen saman näkymän? Vaikkapa tältä:

Toisena kokeiluna otin tyylimalliksi Matissen myöhäisen sinivalkoisen työn jota sovelsin tähän kasvoprofiilikuvaan.

Tässä vaiheessa huomasinkin, että kun neural-style synnyttää kuvan satojen tai jopa tuhansien välivaiheiden, iteraatioiden, kautta, niin nämä välivaiheet voivat usein olla hyvinkin mielenkiintoisia. Oletuksena neural-style lähtee tyhjästä, niinkuin vanhanaikaisen television lumisateesta ja etenee asteittain kohti kuvaa jossa haluttu sisältö ja tyyli esiintyvät halutussa suhteessa. Katsotaanpa muutama välähdys tämmöisestä prosessista.

Tässä vaiheessa olin koukussa. Tätä piti kokeilla lisää. Ei niinkään plagioimalla kuuluisten maalareiden tyyliä, vaan tutkimalla miten neural-stylen avulla voi luoda omaa mielenkiintoista jälkeä. Lisää postauksia siis tulossa.