Neural-stylen hienous on siinä kuinka se pystyy erottelemaan tyylillisiä piirteitä kuvasta ja luomaan uuden kuvan jossa yhdistyy yhden kuvan tyyli ja toisen sisältä. Alkuperäinen tutkimus jossa tämä menetelmä kuvattiin osoitti että on mahdollista luoda uusia kuvia joissa omat valokuvat muuntuvat ikäänkuin Van Goghin, Kandinskyn tai Munchin tyyliin. Tässä kohtaa on syytä esittää pieni varaus: menetelmä ei oikeasti analysoi kenenkään tyyliä, ainoastaan erottelee kuvista tiettyjä toistuvasti esiintyviä piirteitä kuten väriä ja tekstuuria.
Kun itse löysin neural-stylen, en ollut etsimässä keinoja matkia kuuluisia maalauksia. Olin tehnyt taiteellisia kokeiluja Processing-ohjelmakirjastolla ja olin sitten hakemassa keinoja prosessoida kuvia pelkistetympään muotoon, värin ja valon alueiksi. Nyttemmin olen löytänyt hyviä keinoja tuohon nimenomaan Processingin avulla, mutta löytöretkeni neural-stylen kanssa osoittautuivat vähintään yhtä mielenkiintoisiksi.
Tein kokeiluja neural-stylellä niin, että käytin vain oletuksena käytetyn VGG19-neuroverkon alimpia konvoluutiokerroksia (conv1_1, conv1_2 and conv2_1) sekä sisällön että tyylin ohjaukseen. Tällä tavoin pystyin jossakin määrin pelkistämään kuvaa, suodattamaan yksityiskohtia pois. Huomasin myös etten enää matkinut valmista tyyliä, muuta kuin ehkä hyvin yleisessä mielessä, värien ja laajempien muotojen osalta.
Käytin kokeiluissa tätä valokuvaa syksyisestä Kaivopuistosta.
Kokosin kokeiluista kahden minuutin videon jossa käytän kuvia eri kokeiluista, siten että saman kokeilun eri kehitysvaiheet ovat nähtävillä: neuroverkko on vasta muokkaamassa kuvaa kohti sisältö- ja tyylimallia, ja välivaiheet muodostavat mielenkiintoisesti muuntuvan animaation. Usein sanotaan että neural-style vaatii noin 2000 iteraatiota päästäkseen valmiiseen, hyvälaatuiseen lopputulokseen. Se onkin totta, jos halutaan hyvälaatuisia kuvia jotka tarkkaan matkivat niin sisältöä kuin tyylimallin piirteitä. Itse kuitenkin viehätyn siitä kuinka neural-style vähitellen kehittelee kuvaa välivaiheiden kautta. Nämä välivaiheet ovat itselleni useinkin kiinnostavampia kuin valmis kuva. Tämän videon ja postauksen kuvat on enimmäkseen 100 – 300 iteraation väliltä.
Joissakin kuvissa näkyy värejä joista voi tulla mieleen Edvard Munchin Huuto. En kuitenkaan käyttänyt Huutoa tyylimallina missään vaiheessa. Yöllistä maisemaa lähestyvissä kuvissa oli tyylimallina itse ottamani valokuva (kts. alempana). Usein myöskin tyylipiirteiltä näyttävät elementit eivät varsinaisesti tule tyylimallista vaan ovat ohimeneviä vaiheita joita neuroverkko luo matkalla kohti päämääräänsä.
Seuraavissa kuvissa käytin kuuluisan taiteilijan työtä tyylimallina, Matissen sinivalkoista paperileikkausta. Siitä tyylistä ei kuitenkaan ole näissä tuloksissa havaittavaa jälkeä, paitsi ehkä värien säästeliäs käyttö. Sumea ulkoasu tulee sitten neuroverkon alimpien konvoluutiokerrosten käytöstä.
Yönäkymät syntyivät sitten tästä itse ottamastani valokuvasta…
…josta syntyi näitä.
Seuraavat, kirkkaammat näkymät, tein käyttämällä valokuvaa itseään tyylimallina. Edelleen pysymällä alimpien konvoluutiokerrosten käytössä kuva ei ollenkaan muistuta valokuvaa. Ensimmäinen kuva on 50 iteraation kohdalta, sen jälkeen kuvan ilme muuttuu pehmeämmäksi kunnes 200 iteraation jälkeen taivas alkaa menettää väriään ja maa saa melkein fotorealistisen tekstuurin.
Seuraavissa kuvissa tyylimallina oli palettiveitsellä tehty muotokuva. Palettiveitsen jälki ei kuitenkaan näy kuvissa, vain nuo harmaan sävyt ovat peräisin tyylimallista.
Seuraavista kuvista en ole varma. Mistä ne syntyivät? Mistä nuo mustat muodot? Jotenkin varmaan tyylikuvasta, joka on sama kuin edellisessä. Tässä kuva muuntuu kiinnostavalla tavalla iteraatiosarjan aikana. Ensin mustat hahmot näkyvät taivaalla, sitten ne vähitellen katoavat sieltä samalla kuin maa peittyy varjoon.
Viimeisenä yksi sarjan ensimmäisisä kokeiluista. En enää tiedä mitä tässä tein, mutta pidin tämän sumeasta ulkoasusta niin paljon että intouduin tekemään lisää kokeiluja,
