Kesällä 2015 olin kiinnostunut valokuvien pelkistämisestä ohjelmallisin keinoin, Processing ja OpenCV -kirjastojen avulla. En kuitenkaan päässyt niin pitkälle kuin halusin, ja aloin etsiä uusia, rajumpia tekniikoita kokeiltavaksi. Juuri samoihin aikoihin julkaistiin kaksi neuroverkkopohjaisen kuvankäsittelyn ja -generoinnin perusratkaisua: Googlen DeepDream, jonka estetiikka ei yhtään vedonnut minuun, ja neural-style, jonka sanottiin pystyvän …
Tutustuin neuraaliseen kuvankäsittelyyn kaksi ja puoli vuotta sitten tyylimuunnoksen kautta. Tyylimuunnoksessa luodaan uusi kuva, jonka sisältö pohjautuu yhteen mallikuvaan, värien ja tekstuurin käyttö taas toiseen mallikuvaan. Viimeisen vuoden ajan olen kuitenkin enimmäkseen kokeillut menetelmiä, joissa neuroverkko oppii itse tekemään kuvia, tai muuntamaan kuvaa oppimansa perusteella. Mitään yksittäistä tyylimallia ei ole …
Keväällä 2000 menin harrastuspohjalta juutalaisuuden tutkijoiden konferenssiin ja pidin esitelmän ”Slimy stones and philosophy”. Limaiset kivet kiinnostivat monia ja pieni huone oli tupaten täynnä kuulijoita. Tästä alkoi puolentoista vuosikymmenen retkeni judaistiikan opiskelijana ja tutkijana. Limaiset kivet? Ja filosofia? Juttu liittyy siihen miten juutalaiset ovat vuosisatojen aikana yrittäneet tulkita ja soveltaa …
Edellisessä osassa näimme kuinka yksittäinen neuroverkon solu käsittelee numeerista tietoa ja kuinka näistä soluista voidaan koota kerroksia ja näistä monikerroksisia neuroverkkoja. Katsotaan seuraavaksi miten neuroverkolla voidaan käsitellä kuvia. Mustavalkoinen kuva voidaan esittää kaksiulotteisena taulukkona, jossa kuvat pikselit on esitetty numeerisesti, esim. lukuina nollasta yhteen, jossa nolla vastaa mustaa ja yksi …
Tässä osassa katsotaan hieman neuroverkon sisälle, sen rakenteeseen ja toimintaan. Tässä vaiheessa lähdemme liikkeelle yksittäisestä keinotekoisesta ”hermosolusta” ja kokeilunhaluiset voivat myös itse yrittää kokeilla kuinka sellainen toimii ja oppii. Katsomme myös kuinka näistä ”soluista” kootaan kerroksia ja kerroksista edelleen suurempia verkkoja. Neuroverkon perusosanen, keinotekoinen ”hermosolu”, perseptroni, laskee käytännössä syötteiden i …
Käsittelen tässä artikkelisarjassa neuroverkkoja taiteilijainsinöörinä käytännön näkökulmasta. Mitä niillä voi tehdä, kuinka ne suurin piirtein toimivat, miten niitä voidaan käyttää käytännön sovelluksissa ja kuinka voi itse alkaa kokeilla niiden käyttöä. Pääpaino on kuvaa käsittelevissä neuroverkoissa ja niiden sovelluksissa, koska tunnen ne parhaiten; olen itse perehtynyt niihin ja kokeillut niiden soveltamista …
Muutama vuosi sitten osallistuin hankkeeseen jossa tutkittiin eri uskontojen Aatamia koskevia traditioita uusista näkökulmista. Otin oman paperini pohjaksi Rasielin kirjan kehyskertomuksen, jossa kerrottiin kuinka Aatami paratiisista karkotettuna on hädissään, tajuaa ettei ymmärrä maailmasta mitään ja rukoilee armoa. Vastauksena katumukseen ilmestyy enkeli joka antaa Aatamille kirjan jonka tiedoilla hän alkaa selvitä maailmassa. …
Tyylinsiirto neuroverkolla, jossa luodaan uusi kuva niin että yhden kuvan sisältö yhdistetään toisen kuvan tyyliin, syntyi noin vuosi sitten. Kaikki alkoi Leon Gatysin jne. tieteellisestä artikkelista. Siinä kuvattiin menetelmä, joka käytti konvoluutioneuroverkkoa yhdistettynä Gramianin matriiseihin (katso Kuinka neural style toimii). Ei mennyt kauaakaan kun githubista jo löytyi toimivia toteutuksia. Näistä menestyksekkäin oli …
Olen useassa postauksessa kertonut kuvien luomisesta neural-stylen avulla. Yritän nyt vähän valottaa kuinka se toimii. Neural-stylen ytimenä on neuroverkko, joka on valmiiksi opetettu tunnistamaan kuvista piirteitä ja hahmoja. Tällaiset neuroverkot on laajoja kokonaisuuksia, joissa yleensä on kahdenlaisia kerroksia: Konvoluutiokerrokset, jotka tarkastelevat kuvaa ikäänkuin pienen liikkuvan ikkunan kautta, ja näin havainnoivat …
Neural-stylen ydin on valmiiksi koulutettu neuroverkko, joka on opetettu suurella joukolla kuvia tunnistamaan kuvista esineitä ja hahmoja. Neural-stylen oletusneuroverkko, VGG19, on hyvin tehokas tunnistamaan kuvista piirteitä. Neural-stylessä käytettynä sillä on helppo tuottaa hyvälaatuisia kuvia jotka kätevästi mukautuvat tyylimallin piirteisiin. Haittana on vain suuri muistintarve. 8GB muistilla ei pääse kuin noin …