{"id":23,"date":"2016-02-29T12:37:16","date_gmt":"2016-02-29T12:37:16","guid":{"rendered":"http:\/\/liipetti.net\/retkia\/?p=23"},"modified":"2016-02-29T12:38:46","modified_gmt":"2016-02-29T12:38:46","slug":"ei-vain-matkimista","status":"publish","type":"post","link":"https:\/\/liipetti.net\/retkia\/ei-vain-matkimista\/","title":{"rendered":"Ei vain matkimista"},"content":{"rendered":"

Neural-stylen<\/a>\u00a0hienous on siin\u00e4 kuinka se pystyy erottelemaan tyylillisi\u00e4 piirteit\u00e4 kuvasta ja luomaan uuden kuvan jossa yhdistyy yhden kuvan tyyli ja toisen sis\u00e4lt\u00e4. Alkuper\u00e4inen\u00a0tutkimus<\/a>\u00a0jossa t\u00e4m\u00e4 menetelm\u00e4 kuvattiin osoitti ett\u00e4 on mahdollista luoda uusia kuvia joissa omat valokuvat muuntuvat ik\u00e4\u00e4nkuin Van Goghin, Kandinskyn tai Munchin tyyliin. T\u00e4ss\u00e4 kohtaa on syyt\u00e4 esitt\u00e4\u00e4 pieni varaus: menetelm\u00e4 ei oikeasti analysoi kenenk\u00e4\u00e4n tyyli\u00e4, ainoastaan erottelee kuvista tiettyj\u00e4 toistuvasti esiintyvi\u00e4 piirteit\u00e4 kuten v\u00e4ri\u00e4 ja tekstuuria.<\/p>\n

Kun itse l\u00f6ysin neural-stylen, en ollut etsim\u00e4ss\u00e4 keinoja matkia kuuluisia maalauksia. Olin tehnyt taiteellisia kokeiluja Processing<\/a>-ohjelmakirjastolla ja olin sitten hakemassa keinoja prosessoida kuvia pelkistetymp\u00e4\u00e4n muotoon, v\u00e4rin ja valon alueiksi. Nyttemmin olen l\u00f6yt\u00e4nyt hyvi\u00e4 keinoja tuohon nimenomaan Processingin avulla, mutta l\u00f6yt\u00f6retkeni neural-stylen kanssa osoittautuivat v\u00e4hint\u00e4\u00e4n yht\u00e4 mielenkiintoisiksi.<\/p>\n

Tein kokeiluja neural-stylell\u00e4 niin, ett\u00e4 k\u00e4ytin vain oletuksena k\u00e4ytetyn VGG19-neuroverkon alimpia konvoluutiokerroksia (conv1_1, conv1_2 and conv2_1) sek\u00e4 sis\u00e4ll\u00f6n ett\u00e4 tyylin ohjaukseen. T\u00e4ll\u00e4 tavoin pystyin jossakin m\u00e4\u00e4rin pelkist\u00e4m\u00e4\u00e4n kuvaa, suodattamaan yksityiskohtia pois. Huomasin my\u00f6s etten en\u00e4\u00e4 matkinut valmista tyyli\u00e4, muuta kuin ehk\u00e4 hyvin yleisess\u00e4 mieless\u00e4, v\u00e4rien ja laajempien muotojen osalta.<\/p>\n

K\u00e4ytin kokeiluissa t\u00e4t\u00e4 valokuvaa syksyisest\u00e4 Kaivopuistosta.<\/p>\n

 <\/p>\n

\"testi2\"<\/a><\/p>\n

Kokosin kokeiluista kahden minuutin videon jossa k\u00e4yt\u00e4n kuvia eri kokeiluista, siten ett\u00e4 saman kokeilun eri kehitysvaiheet ovat n\u00e4ht\u00e4vill\u00e4: neuroverkko on vasta muokkaamassa kuvaa kohti sis\u00e4lt\u00f6- ja tyylimallia, ja v\u00e4livaiheet muodostavat mielenkiintoisesti muuntuvan animaation. Usein sanotaan ett\u00e4 neural-style vaatii noin 2000 iteraatiota p\u00e4\u00e4st\u00e4kseen valmiiseen, hyv\u00e4laatuiseen lopputulokseen. Se onkin totta, jos halutaan hyv\u00e4laatuisia kuvia jotka tarkkaan matkivat niin sis\u00e4lt\u00f6\u00e4 kuin tyylimallin piirteit\u00e4. Itse kuitenkin vieh\u00e4tyn siit\u00e4 kuinka neural-style v\u00e4hitellen kehittelee kuvaa v\u00e4livaiheiden kautta. N\u00e4m\u00e4 v\u00e4livaiheet ovat itselleni useinkin kiinnostavampia kuin valmis kuva. T\u00e4m\u00e4n videon ja postauksen kuvat on enimm\u00e4kseen 100 – 300 iteraation v\u00e4lilt\u00e4.<\/p>\n

Joissakin kuvissa n\u00e4kyy v\u00e4rej\u00e4 joista voi tulla mieleen Edvard Munchin Huuto. En kuitenkaan k\u00e4ytt\u00e4nyt Huutoa tyylimallina miss\u00e4\u00e4n vaiheessa. Y\u00f6llist\u00e4 maisemaa l\u00e4hestyviss\u00e4 kuvissa oli tyylimallina itse ottamani valokuva (kts. alempana). Usein my\u00f6skin tyylipiirteilt\u00e4 n\u00e4ytt\u00e4v\u00e4t elementit eiv\u00e4t varsinaisesti tule tyylimallista vaan ovat ohimenevi\u00e4 vaiheita joita neuroverkko luo matkalla kohti p\u00e4\u00e4m\u00e4\u00e4r\u00e4\u00e4ns\u00e4.
\n