Neuraalista taidegrafiikkaa etsimässä

Tutustuin neuraaliseen kuvankäsittelyyn kaksi ja puoli vuotta sitten tyylimuunnoksen kautta. Tyylimuunnoksessa luodaan uusi kuva, jonka sisältö pohjautuu yhteen mallikuvaan, värien ja tekstuurin käyttö taas toiseen mallikuvaan. Viimeisen vuoden ajan olen kuitenkin enimmäkseen kokeillut menetelmiä, joissa neuroverkko oppii itse tekemään kuvia, tai muuntamaan kuvaa oppimansa perusteella. Mitään yksittäistä tyylimallia ei ole vaan verkko oppii tarvittavan muunnoksen mallina olevien kuvaparien perusteella. Tällaisia ratkaisuja on esimerkiksi pix2pix.

h2p2e-20019Omissa kokeiluissani olen käyttänyt omaa valokuva-aineistoani. Kuvista olen tehnyt eräänlaisia ääriviivakuvia, ja opettanut neuroverkkoa tekemään ääriviivakuvasta uuden, alkuperäistä muistuttavan kuvan. Prosessi ei ole täydellinen, ja siinä homman kiinnostavuus piileekin. Sopivalla aineistolla ja koulutuksella saa aikaan jännää jälkeä, joka ainakin toisinaan tuo mieleeni taidegrafiikan. Aloinkin ajatella itseäni digitaalisen taidegrafiikan kokeilijana ja kehittäjänä. Ääriviivakuva on tavallaan kuin painolaatta, ja neuroverkko oppii ”painamaan” laatan perusteella kuvia.

Kuva287_fake_B st2007-141_fake_B epoch119_fake_B_random  20170529_092931_fake_B

”Painolaatta” syntyy yleensä kätevimmin valokuvasta, mutta sitä voi myös itse muokata, yhdistellä vaikka osia eri valokuvien pohjalta tehdyistä laatoista. Eräänlainen kollaasitekniikka siis, mutta koska yhdistely tehdään ääriviivakuvatasolla, ennen lopullisen kuvan tekoa, valmiista kuvasta ei yleensä erota missä osien rajat menevät.

full-20170605-155405 favela bestversion

Jossain vaiheessa tuli mieleeni kokeilla laittaa tämmöinen kuva liikkumaan, tehdä ikäänkuin liikkuvaa taidegrafiikkaa. Tuntuuhan tuo toimivan, ainakin periaatteessa.

Kuvan syntyprosessiin voi lisätä myös satunnaisuutta, jolloin peräkkäin samalla ”painolaatalla” tehdyt kuvat eroavat toisistaan hieman.

input image009_random sample16 input image009_random sample09 input image009_random sample07 input image009_random sample05 input image009_random sample01 input image009_random sample11

Syntyvän kuvan ulkoasun saa vaihtelemaan paljon enemmänkin, näin saa aikaan eri tyylisiä, usein varsin maalauksellisia kuvia ilman mitään tyylimalleja. Prosessi on kuitenkin vaikea hallita, enemmänkin joutuu kokeellisesti hakemaan oikeaa lopputulosta.

epoch133_fake_B_encoded input image3853_encoded
epoch037_fake_B input image046_random sample03
input image881_encoded epoch056_fake_B_random
input image1201_random sample10 input image1540_encoded

Kokeilut jatkuvat. Prosessia voi tutkia ja muunnella kehittämällä uusia neuroverkkoja, jotka muuntavat ääriviivakuvan (”painolaatan”) lopulliseksi kuvaksi. Tähän tarvitaan neuroverkon opetusmateriaali, riittävä määrä kuvapareja. Kokeilla voi erilaisilla ääriviivakuvilla, samoin kohdemallikuvia voi käsitellä. Seuraavaksi taidan kokeilla tämmöisillä kuvapareilla.

h2pct2-20010

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *