Davor Horvatić

dr. sc. Davor Horvatić, teorijski fizičar, izvanredni profesor na zagrebačkom PMF-u, redovit je gost brojnih konferencija na kojima inspirira publiku talentom da razumljivim rječnikom objasni složene fizikalne pojave. Iz istog razloga je naš dugogodišnji kolumnist i predavač na Fotosofia seminarima. Naslov kolumne '42' je, prema superstroju u 'Vodiču za autostopere kroz galaksiju', smisao svega.

Nauči me kako da bojam i stvaram piksele

13. ožujka 2017. @ 13:22
U zadnjoj kolumni detaljnije smo razmotrili Googleov RAISR (Rapid and Accurate Image Super Resolution) algoritam i vidjeli kako je jedna revolucionarna ideja vrlo brzo iskorištena na dva polja. Na jednom polju dobili smo efikasnu kompresiju slika visoke razlučivosti bez značajnog gubitka detalja, a time i uštedu podatkovnog prometa, a na drugom izuzetno kvalitetan alat za povećanje rezolucije slika. U ovoj kolumni dat ćemo pregled dvaju dodatnih algoritama koji su usko povezani s RAISR-om.

Istraživači zaposleni u Google Brainu nakon RAISR algoritma objavili su još jedan rad koji uvodi novi alat za povećanje rezolucije. U stotinama znanstveno-fantastičnih ili kriminalističkih filmova i serija mogli smo vidjeti efekt ogromnog zumiranja i povećanja rezolucije. Svaki fotograf zna da je do sada bilo nemoguće stvoriti piksele tamo gdje ih nema, tj. ako imamo sliku rezolucije 300 dpi, možemo zumirati koliko hoćemo, ali na kraju ćemo završiti s obojanim pravokutnicima. Mogli biste reći da je ova priča slična onoj s RAISR-om, no ipak postoji bitna razlika. Tehnika se zove rekurzivna super rezolucija piksela (eng. Pixel Recursive Super Resolution) i, kao RAISR, ima svog asa u rukavu - strojno učenje.



Slika 1. (izvor Google Brain)

Pogledajmo detaljnije kako radi super rezolucija. Prvo je potrebno skupiti veći broj slika u parovima - u izvornom istraživanju original je imao 32x32 piksela, a slika smanjene razlučivosti 8x8 piksela. Na slici 1. vidljivo je kako takav par izgleda. Nakon toga je potrebno jako računalo s najboljom grafičkom karticom koju si možemo priuštiti. Platformi za strojno učenje (za primjer možete pogledati Tensorflow od Goolgea) damo taj set slika da izgradi matematički algoritam koji će odabrati najbolji način kako da za sliku rezolucije 8x8 piksela napravi uvećanje na 32x32 piksela. Da bismo odredili uspješnost takvog uvećanja, moramo pripremiti testni skup slika na isti način, ali je u tom slučaju metodologija drugačija: istreniranom algoritmu dat ćemo samo sliku od 8x8 piksela i rezultat povećanja rezolucije usporedit ćemo s originalnom.



Slika 2.  (izvor Google Brain)

Rezultat testa za tri uzorka možete vidjeti na slici 2. koja u prvom stupcu prikazuje ulazne slike od 8x8 piksela, rezultat povećanja rezolucije na 32x32 piskela i usporedbu s originalom (označen na eng. s ground truth). Na slici 3. metoda je uspoređena s drugim pristupima i vidi se da je, iako nije savršena, bliža originalnu od ostalih. Važno je napomenuti da se radi o prvim koracima novih naprednih metoda, a većim skupom uzoraka na kojima možemo trenirati algoritme sigurno možemo dobiti bolje povećanje rezolucije.



Slika 3.  (izvor Google Brain)

Sada kada znate princip, lako mogu objasniti kako je napravljen algoritam za dodavanje boje na fotografije koje nisu snimljene filmom u boji ili im je izvornik crno-bijeli. Skupite set parova crno-bijela fotografija/fotografija u boji, upregnite računalo i istrenirajte napredni algoritam. Richard Zhang, Phillip Isola i Alexei A. Efros objavili su rad pod nazivom Automatsko bojanje pomoću dubokih neuralnih mreža (eng. Automatic colorization using deep neural networks), a jedan primjer možete vidjeti na slici 4. Polje istraživanja automatskog bojanja slika trenutno je u fazi izrazito velike istraživačke aktivnosti. Ako potražite naziv rada te pogledate ostale primjere, uvjerit ćete se u to da ima još mjesta za napredak. 



Slika 4. (izvor http://richzhang.github.io/colorization/)

Jedno je sigurno, polje strojnog učenja i njegova primjena u fotografiji eksplodirala je u zadnjih godinu dana. Iz mjeseca u mjesec imamo sve zanimljivije primjere uporabe, a posebno je zanimljiva primjena u obradi slika tumora. Tu se, naravno, ne radi na estetici i umjetničkoj vrijednosti ili tehničkim poboljšanjima, nego se algoritmi koriste za preciznu detekciju tumorskih stanica s preciznošću koja je ljudskom oku i ekspertizi nedostižna. U svim navedenim primjerima mogu samo naglasiti da nas u budućnosti ne čeka čovjek protiv stroja, nego čovjek s izrazito naprednim strojem u sinergiji koja povećava ljudsku kreativnost.








Komentirati mogu samo registrirani korisnici.