Tutustuin neuraaliseen kuvankäsittelyyn kaksi ja puoli vuotta sitten tyylimuunnoksen kautta. Tyylimuunnoksessa luodaan uusi kuva, jonka sisältö pohjautuu yhteen mallikuvaan, värien ja tekstuurin käyttö taas toiseen mallikuvaan. Viimeisen vuoden ajan olen kuitenkin enimmäkseen kokeillut menetelmiä, joissa neuroverkko oppii itse tekemään kuvia, tai muuntamaan kuvaa oppimansa perusteella. Mitään yksittäistä tyylimallia ei ole …
Edellisessä osassa näimme kuinka yksittäinen neuroverkon solu käsittelee numeerista tietoa ja kuinka näistä soluista voidaan koota kerroksia ja näistä monikerroksisia neuroverkkoja. Katsotaan seuraavaksi miten neuroverkolla voidaan käsitellä kuvia. Mustavalkoinen kuva voidaan esittää kaksiulotteisena taulukkona, jossa kuvat pikselit on esitetty numeerisesti, esim. lukuina nollasta yhteen, jossa nolla vastaa mustaa ja yksi …
Tässä osassa katsotaan hieman neuroverkon sisälle, sen rakenteeseen ja toimintaan. Tässä vaiheessa lähdemme liikkeelle yksittäisestä keinotekoisesta ”hermosolusta” ja kokeilunhaluiset voivat myös itse yrittää kokeilla kuinka sellainen toimii ja oppii. Katsomme myös kuinka näistä ”soluista” kootaan kerroksia ja kerroksista edelleen suurempia verkkoja. Neuroverkon perusosanen, keinotekoinen ”hermosolu”, perseptroni, laskee käytännössä syötteiden i …
Käsittelen tässä artikkelisarjassa neuroverkkoja taiteilijainsinöörinä käytännön näkökulmasta. Mitä niillä voi tehdä, kuinka ne suurin piirtein toimivat, miten niitä voidaan käyttää käytännön sovelluksissa ja kuinka voi itse alkaa kokeilla niiden käyttöä. Pääpaino on kuvaa käsittelevissä neuroverkoissa ja niiden sovelluksissa, koska tunnen ne parhaiten; olen itse perehtynyt niihin ja kokeillut niiden soveltamista …
Tyylinsiirto neuroverkolla, jossa luodaan uusi kuva niin että yhden kuvan sisältö yhdistetään toisen kuvan tyyliin, syntyi noin vuosi sitten. Kaikki alkoi Leon Gatysin jne. tieteellisestä artikkelista. Siinä kuvattiin menetelmä, joka käytti konvoluutioneuroverkkoa yhdistettynä Gramianin matriiseihin (katso Kuinka neural style toimii). Ei mennyt kauaakaan kun githubista jo löytyi toimivia toteutuksia. Näistä menestyksekkäin oli …
Olen useassa postauksessa kertonut kuvien luomisesta neural-stylen avulla. Yritän nyt vähän valottaa kuinka se toimii. Neural-stylen ytimenä on neuroverkko, joka on valmiiksi opetettu tunnistamaan kuvista piirteitä ja hahmoja. Tällaiset neuroverkot on laajoja kokonaisuuksia, joissa yleensä on kahdenlaisia kerroksia: Konvoluutiokerrokset, jotka tarkastelevat kuvaa ikäänkuin pienen liikkuvan ikkunan kautta, ja näin havainnoivat …
Neural-stylen ydin on valmiiksi koulutettu neuroverkko, joka on opetettu suurella joukolla kuvia tunnistamaan kuvista esineitä ja hahmoja. Neural-stylen oletusneuroverkko, VGG19, on hyvin tehokas tunnistamaan kuvista piirteitä. Neural-stylessä käytettynä sillä on helppo tuottaa hyvälaatuisia kuvia jotka kätevästi mukautuvat tyylimallin piirteisiin. Haittana on vain suuri muistintarve. 8GB muistilla ei pääse kuin noin …
Neural-stylen hienous on siinä kuinka se pystyy erottelemaan tyylillisiä piirteitä kuvasta ja luomaan uuden kuvan jossa yhdistyy yhden kuvan tyyli ja toisen sisältä. Alkuperäinen tutkimus jossa tämä menetelmä kuvattiin osoitti että on mahdollista luoda uusia kuvia joissa omat valokuvat muuntuvat ikäänkuin Van Goghin, Kandinskyn tai Munchin tyyliin. Tässä kohtaa on syytä esittää pieni …
Neural-stylen tyylimallin ei tarvitse olla taideteos. Tässä kokeilussa otan tyylimalliksi palan topografikarttaa ja sovellan sitä valokuviin, kaupunkinäkymiin ja henkilökuvaan. (lähde: https://tiedostopalvelu.maanmittauslaitos.fi/tp/kartta) Ensimmäinen välitulos 100 iteraation jälkeen näyttää lähinnä karttakuvan väännökseltä. Sisältökuvan rakennusta ei vielä näy. Mutta aika pian sekin alkaa hahmottua, kartan viivat ja pisteet löytävät paikkansa ja taipuvat talon …
Otin Sarvikallion valokuvan vielä uudestaan käsittelyyn, ja sovelsin siihen Saara Mestertonin abstraktin maalauksen tyyliä… …ja siitä syntyi tämä: Mutta jospa vaihdankin tyylin ja sisällön keskenään. Siis yritän tehdä kuvan, jossa on abstraktin raitamaalauksen sisältö ja valokuvan tyyli. Eipä hullumpi. Mutta tähänkään ei tarvitse pysähtyä. Otan vielä tämän uusimman kuvan …
