{"id":270,"date":"2021-10-13T13:28:38","date_gmt":"2021-10-13T13:28:38","guid":{"rendered":"http:\/\/liipetti.net\/retkia\/?p=270"},"modified":"2021-10-13T14:58:07","modified_gmt":"2021-10-13T14:58:07","slug":"neurokuvatreenit-harj-3","status":"publish","type":"post","link":"https:\/\/liipetti.net\/retkia\/neurokuvatreenit-harj-3\/","title":{"rendered":"Neurokuvatreenit, harj 3"},"content":{"rendered":"\n

T\u00e4h\u00e4nastisissa harjoituksissa olemme antaneet kuvan kehitty\u00e4 vertaamalla sit\u00e4 pikseli pikselilt\u00e4 tavoitteeseen. Malli n\u00e4ytt\u00e4\u00e4 toimivan, mutta yleisemmin siin\u00e4 on se ongelma, ett\u00e4 t\u00e4m\u00e4 malli ei oikeasti mittaa samankaltaisuutta. Ei tarvitse kuin siirt\u00e4\u00e4 pikseleit\u00e4 hieman sivuun, ja malli arvioi kuvan ihan erilaiseksi, vaikka se todellisuudessa n\u00e4ytt\u00e4\u00e4 ihan samalta.

Pikselikohtainen virhe on silti hy\u00f6dyllinen ja paljon k\u00e4yt\u00f6ss\u00e4, mutta sen rinnalla k\u00e4ytet\u00e4\u00e4n my\u00f6s muita tapoja. T\u00e4ss\u00e4 harjoituksessa otamme k\u00e4ytt\u00f6\u00f6n kaksi. SSIM (structural similarity) jossa lasketaan matemaattinen arvio vertailemalla kuvien rakennetta, ja ns. perceptual loss, jossa kuvaa tulkitsevan neuroverkon avulla mitataan, ei pikseleit\u00e4 vaan eri tasoisia piirteit\u00e4. Palaamme my\u00f6hemmiss\u00e4 harjoituksissa tarkemmin siihen miten neuroverkkoa voi k\u00e4ytt\u00e4\u00e4 tunnistamaan ja mittamaan kuvassa olevia piirteit\u00e4.

Saamme nuo molemmat vertailukeinot valmiina kirjasto-ohjelmina. Ne pit\u00e4\u00e4 ensin asentaa, se onnistuu parhaiten jollakin pakettihallintaohjelmalla, joista lis\u00e4\u00e4 asennusta k\u00e4sittelev\u00e4ss\u00e4 artikkelissa. Esim. komentorivill\u00e4<\/p>\n\n\n\n

pip install pytorch_msssim\npip install lpips\npip install scipy\npip install tqdm<\/pre>\n\n\n\n
Sin\u00e4ns\u00e4 ohjelmamme toimii edelleen saman kaavan mukaan kuin harjoituksessa 2. Luemme kaksi kuvaa sis\u00e4\u00e4n ja luomme tyhj\u00e4ksi alustetun tensorin ik\u00e4\u00e4nkuin kuvan kasvualustaksi. K\u00e4ymme mittaamaan samankaltaisuutta ja s\u00e4\u00e4d\u00e4mme kuvaa sen mukaan. Oleellisin ero on tavoitefunktiossa, jossa nyt k\u00e4yt\u00e4mme edell\u00e4 mainittuja funktioita. Painotamme my\u00f6s kumpaakin niist\u00e4 erikseen, jotta on helppo kokeilla mik\u00e4 vaikutus on rakenteellisella ja perseptuaalisella mittauksella.<\/p>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Mik\u00e4 koodissa sitten muuttuu? Tarvitsemme ainakin kaksi uutta parametria, jotta voimme painottaa mittaustapoja erikseen.<\/p>\n\n\n\n
parser.add_argument('--ssim', type=float, default=1, help='blend factor, 0 for none')\nparser.add_argument('--lpips', type=float, default=0, help='blend factor, 0 for none')<\/pre>\n\n\n\n
Meid\u00e4n my\u00f6s pit\u00e4\u00e4 ottaa kirjastot k\u00e4ytt\u00f6\u00f6n ohjelmassamme, ei riit\u00e4 ett\u00e4 ne on koneelle asennettu. N\u00e4ist\u00e4 ssim on suoraan valmis funktio k\u00e4ytt\u00f6\u00f6n tavoitefunktiossa, lpips:ilt\u00e4 taas ik\u00e4\u00e4nkuin haemme  halutunlaisen funktion ja nime\u00e4mme sen ploss.<\/p>\n\n\n\n
from pytorch_msssim import ssim\nimport lpips\n\nploss = lpips.LPIPS(net=\"alex\", spatial=True)<\/pre>\n\n\n\n
Tavoitefunktiota, siis virheen laskentaa, pit\u00e4\u00e4 my\u00f6s muuttaa. Laskemme virheen kumpaankin tavoitteeseen n\u00e4hden, painottaen kahta laskutapaa halutulla tavalla. Sitten laskemme virheet yhteen, painottaen j\u00e4lkimm\u00e4ist\u00e4 b-parametrin mukaan, kuten teimme kakkosharjoituksessakin. <\/p>\n\n\n\n
    # calculate loss\n    loss1 = opt.ssim * (1 - ssim(imgT.unsqueeze(0), imgG.unsqueeze(0))) + opt.lpips * ploss(imgT.unsqueeze(0), imgG.unsqueeze(0)).mean()\n\n    loss2 = opt.ssim * (1 - ssim(imgT2.unsqueeze(0), imgG.unsqueeze(0))) + opt.lpips * ploss(imgT2.unsqueeze(0), imgG.unsqueeze(0)).mean()\n\n    loss2 = opt.b*loss2\n    \n    loss = loss1 + loss2\n\n    # run backwards to find gradient (how to change imgG to make loss smaller) \n    loss.backward()\n\n    # run optimizer to change imgT\n    optimizer.step()\n\n    # print loss to show how we are doing\n    print(i, loss.item(), loss1.item(), loss2.item())<\/pre>\n\n\n\n
Tarkasti katsoen huomaamme eron siin\u00e4 miten ssim ja lpips\/ploss k\u00e4sitell\u00e4\u00e4n. Joudumme laskemaan rakenteellisen virheen <\/p>\n\n\n\n
1 - ssim(kuva1, kuva2)<\/pre>\n\n\n\n
koska haluamme mitata eroa, mutta SSIM mittaakin samankaltaisuutta. Tied\u00e4mme my\u00f6s, ett\u00e4 SSIM on 1 silloin kun kuvat ovat samanlaiset, eli n\u00e4in laskien meill\u00e4 on virhefunktio joka l\u00e4hestyy nollaa mit\u00e4 paremmin kuvat muistuttavat toisiaan. <\/p>\n\n\n\n
Voi tuntua hankalalta, ett\u00e4 eri kirjastot ja niiden tarjoamat funktiot k\u00e4ytt\u00e4ytyv\u00e4t eri tavoin. T\u00e4ss\u00e4 funktiot mittaavat eri suuntaan ja niit\u00e4 k\u00e4ytet\u00e4\u00e4n muutenkin eri lailla. Olemme my\u00f6s huomanneet ett\u00e4 kuvien k\u00e4sittelyss\u00e4 joudumme normalisoimaan pikselien arvot eri tavoin ja v\u00e4lill\u00e4 muuttamaan niit\u00e4. Kannattaa suhtautua niin ett\u00e4 n\u00e4in vain on. Kuhunkin kirjastoon kannattaa perehty\u00e4 ja niiden k\u00e4ytt\u00f6\u00e4 voi itse kokeilla helpoilla esimerkeill\u00e4. Me kun kuitenkin tarvitsemme niit\u00e4 kirjastoja, juuri ne tekev\u00e4t t\u00e4m\u00e4n homman mahdolliseksi. Yleens\u00e4 noille valinnoille on hyv\u00e4t syyt.<\/p>\n\n\n\n
Katsotaanpa sitten millaista kuvaa n\u00e4m\u00e4 tekev\u00e4t. K\u00e4ytet\u00e4\u00e4n testikuvina n\u00e4it\u00e4 kahta. Kokeillaan sitten SSIMi\u00e4 kumpaankin erikseen ja sitten molempiin yhdess\u00e4. <\/p>\n\n\n\n