{"id":406,"date":"2022-11-19T13:51:00","date_gmt":"2022-11-19T13:51:00","guid":{"rendered":"http:\/\/liipetti.net\/retkia\/?page_id=406"},"modified":"2022-11-27T08:23:51","modified_gmt":"2022-11-27T08:23:51","slug":"diffuusion-voittokulku","status":"publish","type":"page","link":"https:\/\/liipetti.net\/retkia\/kuvantekoon\/diffuusion-voittokulku\/","title":{"rendered":"Diffuusion voittokulku"},"content":{"rendered":"\n

Kirjassani k\u00e4sittelin yhden luvun verran (s. 99- 101) uutta tekniikkaa, diffuusiota, jossa kuva pannaan kasvamaan kohinasta. Pidin sit\u00e4 selv\u00e4sti kiinnostavana taiteelliseenkin ty\u00f6h\u00f6n ja tein sill\u00e4 joitakin kokeiluja. Diffuusiotekniikka on sen j\u00e4lkeen kehittynyt monella tavoin ja sen pohjalta on syntynyt useita palveluita, jotka ovat nostaneet teko\u00e4lypohjaisen kuvanteon ensimm\u00e4ist\u00e4 kertaa todella laajan yleis\u00f6n tietoon ja k\u00e4ytt\u00f6\u00f6n. Siksi n\u00e4en nyt tarpeelliseksi p\u00e4ivitt\u00e4\u00e4 kirjani t\u00e4ll\u00e4 ylim\u00e4\u00e4r\u00e4isell\u00e4 luvulla, jossa k\u00e4sittelen tarkemmin diffuusion tekniikkaa, sen sovelluksia sek\u00e4 vaikutuksia kuvanteon maailmassa.<\/p>\n\n\n\n

Niinkuin niin monen muunkin jo k\u00e4sittelem\u00e4mme tekniikan, my\u00f6s diffuusion idea on periaatteena yksinkertainen mutta nerokas. On helppoa peitt\u00e4\u00e4 kuva kohinaan, jopa niin ettei mit\u00e4\u00e4n kuvaa ole en\u00e4\u00e4 n\u00e4ht\u00e4viss\u00e4. Teko\u00e4lyn avulla voimme k\u00e4\u00e4nt\u00e4\u00e4 t\u00e4m\u00e4n prosessin, opettaa esimerkkien avulla neuroverkon poistamaan kuvasta kohinaa. \u00c4\u00e4rimmilleen vietyn\u00e4 voidaan pelk\u00e4st\u00e4 kohinastakin synnytt\u00e4\u00e4 kuvia, ja juuri niin diffuusio toimii.<\/p>\n\n\n\n

Alla olevassa esimerkiss\u00e4 lis\u00e4\u00e4mme kuvaan vaihe kerrallaan hieman kohinaa, kunnes lopulta kuvasta ei ole mit\u00e4\u00e4n j\u00e4ljell\u00e4. Esimerkki on yksinkertaistettu. K\u00e4yt\u00e4nn\u00f6ss\u00e4 kohinaa lis\u00e4t\u00e4\u00e4n hyvin pienin askelin, tyypillisesti tuhat kertaa, joten kerrallaan teht\u00e4v\u00e4 muutos on hyvin pieni.\u00a0<\/p>\n\n\n\n

<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Kun sitten koulutamme neuroverkon arvioimaan kuinka paljon kuvassa on yhdell\u00e4 kertaa lis\u00e4tty\u00e4 kohinaa, ja k\u00e4yt\u00e4mme sit\u00e4 kohinan poistamiseen toistamalla yksitt\u00e4inen operaatio tuhat kertaa, p\u00e4\u00e4semme puhtaasta kohinasta takaisin kuvaan. Jos kohinaan peitetyn kuvan sijaan l\u00e4hdemme satunnaisesta kohinasta, voimme p\u00e4\u00e4st\u00e4 mit\u00e4 erilaisimpiin kuviin, ja my\u00f6s ohjata diffuusiota kohti haluamaamme tavoitetta, kuten olemme kautta kirjan eri tavoin jo tehneet. T\u00e4ll\u00e4 hetkell\u00e4 toki suosituin malli on ohjata kuvan synty\u00e4 tekstimuotoisen kuvauksen perusteella (kirja s. 87 – 89).<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Tekstiohjauksessa kehittym\u00e4ss\u00e4 olevaa kuvaa verrataan joka vaiheessa annettuun tekstiin,  ja kuvaa ohjataan aavistuksen verran tekstin m\u00e4\u00e4r\u00e4\u00e4m\u00e4\u00e4n suuntaan.  T\u00e4m\u00e4n mahdollistaa CLIP, joka muuntaa sek\u00e4 kuvan ett\u00e4 tekstin enkoodattuun muotoon, jossa niit\u00e4 voidaan verrata toisiinsa.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

T\u00e4m\u00e4 selitt\u00e4\u00e4 periaatetasolla sen, miten kuvaa ylip\u00e4\u00e4ns\u00e4 voidaan synnytt\u00e4\u00e4 tekstikuvauksen pohjalta. Kuvan ei tarvitse synty\u00e4 diffuusiolla, mutta k\u00e4yt\u00e4nn\u00f6ss\u00e4 se on osoittautunut kohtalaisen ylivoimaiseksi verrattuna aiemmin k\u00e4ytettyihin menetelmiin (VQGAN, kirjan s. 81 – 84, muita tapoja s. 92 – 97).<\/p>\n\n\n\n

Kuvasta kuvaksi diffuusiolla<\/strong><\/p>\n\n\n\n

Omassa ty\u00f6skentelyss\u00e4ni haluan k\u00e4ytt\u00e4\u00e4 omaa kuva-aineistoani l\u00e4ht\u00f6kohtana ja siksi harvemmin k\u00e4yt\u00e4n pelkk\u00e4\u00e4 tekstipohjaista synteesi\u00e4. Kirjani kokeiluissa (s. 100) totesin, ettei diffuusiota voi alustaa omalla l\u00e4ht\u00f6kuvalla, joten jouduin sen sijaan ohjaamaan syntyv\u00e4\u00e4 kuvaa kohti<\/em> antamaani kuvaa. My\u00f6hemmin on selvinnyt sekin, miten diffuusio alustetaan l\u00e4ht\u00f6kuvalla. <\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Ongelmana oli diffuusion perusluonne: kuvan synty l\u00e4htee kohinasta. Kun t\u00e4llaiseen prosessiin sy\u00f6tti aloituskuvan, kohina peitti sen niin ettei l\u00e4ht\u00f6kuvalla ollut mit\u00e4\u00e4n vaikutusta. T\u00e4h\u00e4n oli kuitenkin yksinkertainen ratkaisu.  Kun l\u00e4hdet\u00e4\u00e4n tietyst\u00e4 kuvasta, lis\u00e4t\u00e4\u00e4n siihen sopivasti v\u00e4hemm\u00e4n kohinaa, ja vastaavasti kohinanpoistovaiheita v\u00e4hennet\u00e4\u00e4n. Hypp\u00e4\u00e4mme jo osittain kohinasta puhdistetun kuvan kanssa ik\u00e4\u00e4nkuin keskelle kohinanpoistoprosessia. S\u00e4\u00e4t\u00e4m\u00e4ll\u00e4 l\u00e4ht\u00f6kuvan ja kohinan suhdetta ja vastaavasti tarvittavien kohinanpoistokierrosten m\u00e4\u00e4r\u00e4\u00e4, voimme my\u00f6s s\u00e4\u00e4t\u00e4\u00e4 alkukuvan ja tekstiohjauksen v\u00e4list\u00e4 tasapainoa.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Diffuusion muunnelmia<\/strong><\/p>\n\n\n\n

Perusmuodossaan diffuusiossa kuva syntyy pikselikuvana jopa tuhannen vaiheen kautta, mik\u00e4 on hidasta ja kuvakoon kasvaessa my\u00f6s paljon muistia kuluttavaa. Prosessin nopeuttamiseen l\u00f6ytyy helpohko keino: kun on arvioitu poistettava kohina tietyss\u00e4 vaiheessa, pystyt\u00e4\u00e4n matemaattisesti arvioimaan kohtalaisen hyvin paljonko kohinaa esimerkiksi 20 vaiheen j\u00e4lkeen pit\u00e4\u00e4 poistaa. N\u00e4in kuva voidaan synnytt\u00e4\u00e4 50 kierroksella tuhannen sijaan. <\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Diffuusion toiminta voidaan nyt kuvata yll\u00e4olevalla kaaviolla. L\u00e4hdet\u00e4\u00e4n joko kohinasta tai l\u00e4ht\u00f6kuvasta, johon on lis\u00e4tty sopivasti kohinaa. Kohinan poistamiseen k\u00e4ytet\u00e4\u00e4n U-net -tyyppist\u00e4 neuroverkkoa, joka soveltuu kuvan muuntamiseen ja jollaista k\u00e4ytimme jo kirjan luvussa Kuvaa muuntava yleiskone<\/strong> (s. 41 – 54). T\u00e4ss\u00e4 U-net on koulutettu poistamaan kuvasta aavistuksen verran kohinaa. <\/p>\n\n\n\n

Syntyv\u00e4\u00e4 kuvaa verrataan tekstiin enkoodaamalla sek\u00e4 kuva ett\u00e4 teksti vertailukelpoiseen muotoon, ja ohjataan n\u00e4iden eron perusteella latenttia kuvaa kohti parempaa vastaavuutta tekstin kanssa (kts. kirjan kappale Kieli kuvia ohjaamaan<\/strong>, kirjan s. 87 – 89).  Kohinaskedulerin teht\u00e4v\u00e4n\u00e4 on s\u00e4\u00e4t\u00e4\u00e4 kohinan m\u00e4\u00e4r\u00e4\u00e4 juuri sopivasti, ja juuri sen teht\u00e4v\u00e4ksi j\u00e4\u00e4 hallita kuinka kierrosten m\u00e4\u00e4r\u00e4\u00e4 v\u00e4hennet\u00e4\u00e4n poistamalla kerralla enemm\u00e4n kohinaa.<\/p>\n\n\n\n

T\u00e4ss\u00e4 mallissa kuva edelleen kehittyy pikselikuvana, jolloin v\u00e4hitellen vaimeneva kohina useimmiten n\u00e4kyy miellytt\u00e4v\u00e4n\u00e4 j\u00e4lken\u00e4 keskener\u00e4isess\u00e4 kuvassa (kts. kirjan s. 99). Pikselikuvan k\u00e4sittely U-netilla vaatii kuitenkin paljon muistia mik\u00e4 taas k\u00e4yt\u00e4nn\u00f6ss\u00e4 asettaa rajat kuvakoolle. <\/p>\n\n\n\n

Voimme my\u00f6s enkoodata kuvan kompressoituun muotoon samaan tapaan kuin VQGANissa (kirjan s. 81 – 83), niin ett\u00e4 kuva jaetaan vaikkapa 8\u00d78 px palasiin jotka esitet\u00e4\u00e4n numeromuotoon enkoodattuna. <\/p>\n\n\n\n

Menetelm\u00e4\u00e4 jossa diffuusio tapahtuu enkoodatussa kutsutaan latentiksi diffuusioksi. Pikselikuvan (esim. 512\u00d7512\u00d73 px) sijaan diffuusio tapahtuu nyt koodatulle kuvalle (esim. 64\u00d764\u00d74) eli huomattavasti pienemm\u00e4ss\u00e4 koossa. Pit\u00e4\u00e4 kuitenkin ottaa huomioon my\u00f6s, ett\u00e4 nyt tarvitsemme dekooderin jolla saamme k\u00e4ytt\u00f6kelpoisen kuvan. Enkooderinkin tarvitsisimme, jos k\u00e4ytt\u00e4isimme tekstiohjaukseen samaa tekniikkaa kuin edell\u00e4, eli vertaisimme syntyv\u00e4\u00e4 kuvaa tekstiin enkoodaamalla kummatkin vertailukelpoiseen muotoon. <\/p>\n\n\n\n

Tekstiohjaus voidaan my\u00f6s integroida osaksi diffuusioverkkoa, ja n\u00e4in juuri mm. Stablediffusionissa<\/em> tehd\u00e4\u00e4n, jolloin enkooderia ei tarvita. Enkoodattu teksti sy\u00f6tet\u00e4\u00e4n diffuusioverkolla ja kuvan ohjaus kohti teksti\u00e4 tapahtuu suoraan osana diffuusiota. Jos taas halutaan l\u00e4hte\u00e4 tietyst\u00e4 kuvasta, tarvitaan toki enkooderi jolla l\u00e4ht\u00f6kuva aluksi saadaan enkoodattuun muotoon (kuvassa Z).<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Menetelm\u00e4 on tehokas ja toteutus on kompakti, mutta varjopuolena on ett\u00e4 tekstiohjaukseen ei voida k\u00e4ytt\u00e4\u00e4 valmiita verkkoja (CLIP), vaan diffuusioverkko pit\u00e4\u00e4 kouluttaa hallitsemaan diffuusion lis\u00e4ksi my\u00f6s tekstin ja kuvan vertailu. Kun l\u00e4hes kaikki oleellinen toiminnallisuus on n\u00e4in integroitu diffuusioverkon sis\u00e4\u00e4n, siihen on ulkopuolelta vaikea vaikuttaa, t\u00e4ss\u00e4 kun ei en\u00e4\u00e4 ole ulkoista virheen perusteella tapahtuvaa ohjausta johon voisi lis\u00e4t\u00e4 omia lis\u00e4tekij\u00f6it\u00e4 kuvaa ohjaamaan.  Vaikuttaa my\u00f6s, ett\u00e4 Stablediffusionin<\/em> valmiiksi koulutettu diffuusioverkko ei ole niin monipuolinen kuin erillinen CLIP-pohjainen ohjaus. Sill\u00e4 on helppo saada aikaan upeata kuvaa, mutta vaikeampi p\u00e4\u00e4st\u00e4 v\u00e4h\u00e4n erikoisemmille alueille, mik\u00e4 viittaa siihen ett\u00e4 kouluttaminen on tehty suppeammalla aineistolla kuin alkuper\u00e4isen CLIP:in kohdalla.<\/p>\n\n\n\n

N\u00e4kymi\u00e4 t\u00e4ll\u00e4 hetkell\u00e4<\/strong><\/p>\n\n\n\n

Kirjani lopussa kannoin huolta kuvasynteesin kivettymisest\u00e4 sosiaalisen median tapaan mammuttiluokan suljetuiksi palveluiksi, jotka tuottavat k\u00e4ytt\u00e4jille onnistumisen kokemuksia ja joita k\u00e4ytt\u00e4j\u00e4t ruokkivat omalla kuvamateriaalillaan. Stablediffusion<\/em> on avoimella ratkaisullaan aika lailla kirkastanut n\u00e4kymi\u00e4. Se ei ole kiinte\u00e4 palvelu, vaan koostuu avoimen lisenssin ohjelmakirjastosta ja valmiiksi koulutetuista verkoista, joiden pohjalta voidaan kehitt\u00e4\u00e4 erilaisia sovelluksia. Vaikka itsell\u00e4ni on ep\u00e4ilyksi\u00e4 siit\u00e4 onko sen teknikka taiteelliseen k\u00e4ytt\u00f6\u00f6n kuitenkaan paras ratkaisu, niin sen ymp\u00e4rille on jo nyt kehittynyt hyvin mielenkiintoisia laajennuksia, kuten mahdollisuus pienell\u00e4 vaivalla kouluttaa kuvien avulla uusia k\u00e4sitteit\u00e4, vaikkapa laajentaa systeemin ymm\u00e4rt\u00e4m\u00e4\u00e4 kielt\u00e4 omilla tyylillisill\u00e4 k\u00e4sitteill\u00e4. <\/p>\n\n\n\n

Hyv\u00e4laatuisen kuvasynteesin levi\u00e4minen hyvin nopeasti laajaan tietoisuuteen on toisaalta nostattanut rajuakin vastarintaa varsinkin digitaalitaiteen piiriss\u00e4. Ehk\u00e4 ymm\u00e4rrett\u00e4vin huoli liittyy siihen kuinka helposti nimettyjen taiteilijoiden teosten tyyli\u00e4 voidaan matkia. On vaadittu ett\u00e4 verkkojen kouluttaminen teoskuvilla ja taiteilijoiden nimell\u00e4 on kiellett\u00e4v\u00e4 tai enint\u00e4\u00e4n sallittava taiteilijan luvalla. Toisaalta n\u00e4m\u00e4 kriitikot eiv\u00e4t v\u00e4ltt\u00e4m\u00e4tt\u00e4 t\u00e4ysin ymm\u00e4rr\u00e4 kuinka neuroverkot ja teko\u00e4ly toimivat. Itse n\u00e4en ett\u00e4 yleisk\u00e4ytt\u00f6isen kuvaa hahmottavan tekniikan kouluttaminen mill\u00e4 hyv\u00e4ns\u00e4 julkisesti esill\u00e4 olevalla kuvalla on verrattavissa siihen kuinka ihmisen visuaalinen hahmotus ja taju kehittyv\u00e4t. <\/p>\n\n\n\n

Matkiminen on toki toinen juttu, eik\u00e4 pitk\u00e4lle menev\u00e4 matkiminen ole ennenk\u00e4\u00e4n ollut hyv\u00e4ksytt\u00e4v\u00e4\u00e4 taiteen piiriss\u00e4. Ehk\u00e4 pit\u00e4isi erityisesti kiinnitt\u00e4\u00e4 huomiota siihen, ettei tyylin matkijoita palkita vaan rohkaistaan ennemmin kehittelem\u00e4\u00e4n jotakin omaa. <\/p>\n","protected":false},"excerpt":{"rendered":"

Kirjassani k\u00e4sittelin yhden luvun verran (s. 99- 101) uutta tekniikkaa, diffuusiota, jossa kuva pannaan kasvamaan kohinasta. Pidin sit\u00e4 selv\u00e4sti kiinnostavana taiteelliseenkin ty\u00f6h\u00f6n ja tein sill\u00e4 joitakin kokeiluja. Diffuusiotekniikka on sen j\u00e4lkeen kehittynyt monella tavoin ja sen pohjalta on syntynyt useita palveluita, jotka ovat nostaneet teko\u00e4lypohjaisen kuvanteon ensimm\u00e4ist\u00e4 kertaa todella laajan\u2026<\/p>\n

Continue reading<\/i><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"parent":362,"menu_order":3,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-406","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/liipetti.net\/retkia\/wp-json\/wp\/v2\/pages\/406","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liipetti.net\/retkia\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/liipetti.net\/retkia\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/liipetti.net\/retkia\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/liipetti.net\/retkia\/wp-json\/wp\/v2\/comments?post=406"}],"version-history":[{"count":5,"href":"https:\/\/liipetti.net\/retkia\/wp-json\/wp\/v2\/pages\/406\/revisions"}],"predecessor-version":[{"id":420,"href":"https:\/\/liipetti.net\/retkia\/wp-json\/wp\/v2\/pages\/406\/revisions\/420"}],"up":[{"embeddable":true,"href":"https:\/\/liipetti.net\/retkia\/wp-json\/wp\/v2\/pages\/362"}],"wp:attachment":[{"href":"https:\/\/liipetti.net\/retkia\/wp-json\/wp\/v2\/media?parent=406"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}