Tyylinsiirto neuroverkolla, jossa luodaan uusi kuva niin että yhden kuvan sisältö yhdistetään toisen kuvan tyyliin, syntyi noin vuosi sitten. Kaikki alkoi Leon Gatysin jne. tieteellisestä artikkelista. Siinä kuvattiin menetelmä, joka käytti konvoluutioneuroverkkoa yhdistettynä Gramianin matriiseihin (katso Kuinka neural style toimii). Ei mennyt kauaakaan kun githubista jo löytyi toimivia toteutuksia. Näistä menestyksekkäin oli …
Olen useassa postauksessa kertonut kuvien luomisesta neural-stylen avulla. Yritän nyt vähän valottaa kuinka se toimii. Neural-stylen ytimenä on neuroverkko, joka on valmiiksi opetettu tunnistamaan kuvista piirteitä ja hahmoja. Tällaiset neuroverkot on laajoja kokonaisuuksia, joissa yleensä on kahdenlaisia kerroksia: Konvoluutiokerrokset, jotka tarkastelevat kuvaa ikäänkuin pienen liikkuvan ikkunan kautta, ja näin havainnoivat …
Neural-stylen ydin on valmiiksi koulutettu neuroverkko, joka on opetettu suurella joukolla kuvia tunnistamaan kuvista esineitä ja hahmoja. Neural-stylen oletusneuroverkko, VGG19, on hyvin tehokas tunnistamaan kuvista piirteitä. Neural-stylessä käytettynä sillä on helppo tuottaa hyvälaatuisia kuvia jotka kätevästi mukautuvat tyylimallin piirteisiin. Haittana on vain suuri muistintarve. 8GB muistilla ei pääse kuin noin …
Neural-stylen hienous on siinä kuinka se pystyy erottelemaan tyylillisiä piirteitä kuvasta ja luomaan uuden kuvan jossa yhdistyy yhden kuvan tyyli ja toisen sisältä. Alkuperäinen tutkimus jossa tämä menetelmä kuvattiin osoitti että on mahdollista luoda uusia kuvia joissa omat valokuvat muuntuvat ikäänkuin Van Goghin, Kandinskyn tai Munchin tyyliin. Tässä kohtaa on syytä esittää pieni …
Neural-stylen tyylimallin ei tarvitse olla taideteos. Tässä kokeilussa otan tyylimalliksi palan topografikarttaa ja sovellan sitä valokuviin, kaupunkinäkymiin ja henkilökuvaan. (lähde: https://tiedostopalvelu.maanmittauslaitos.fi/tp/kartta) Ensimmäinen välitulos 100 iteraation jälkeen näyttää lähinnä karttakuvan väännökseltä. Sisältökuvan rakennusta ei vielä näy. Mutta aika pian sekin alkaa hahmottua, kartan viivat ja pisteet löytävät paikkansa ja taipuvat talon …
Otin Sarvikallion valokuvan vielä uudestaan käsittelyyn, ja sovelsin siihen Saara Mestertonin abstraktin maalauksen tyyliä… …ja siitä syntyi tämä: Mutta jospa vaihdankin tyylin ja sisällön keskenään. Siis yritän tehdä kuvan, jossa on abstraktin raitamaalauksen sisältö ja valokuvan tyyli. Eipä hullumpi. Mutta tähänkään ei tarvitse pysähtyä. Otan vielä tämän uusimman kuvan …
Viimeisen vuoden ajan olen ollut kiinnostunut taiteellisesta luomistyöstä tietokoneen avulla. Aluksi käytin Processing-kirjastoa jolla kirjoitin lyhyitä ohjelmia joilla muokkasin ja muuntelin stillkuvia ja webbikameran tuottamaa muuttuvaa kuvaa. Moni kokeiluista oli interaktiivinen, katsoja saattoi itse vaikuttaa siihen millainen kuvasta tuli. Palaan näihin kokeiluihin eri postauksessa. Kun loppukesästä 2015 etsiskelin uusia keinoja …