Muinsuskaitseameti kratt Folli on loodud selleks, et tehisintellekti abil muuseumite kogudes leiduvat visuaalset materjali automaatselt kirjeldada ja süstematiseerida. Üks oluline ja ajamahukas osa piltide kirjeldamisest on seal leiduvate objektide nimetamine. Folli aga suudab automaatselt fotodelt näiteks inimesi, maju, mööblit ja muid objekte leida. See omakorda parandab otsinuguvõimalusi ja võimaldab teha detailsemaid analüüse kogude sisu kohta.

Üks osa Folli arendamisest on demorakendus, mis visualiseerib enam kui 250 000 fotost koguneva pildikuju visuaalse sarnasuse alusel. Sarnase sisuga fotod asetsevad fotopilves üksteisele lähemal, moodustades niimoodi visuaalsete teemade põhjal klastreid. Näiteks võib pilve ühest osast leida nõukogudeaegsed fotod sünnipäevapidusest, teises kohas jälle pildid Tallinna kohal tiirutavast tsepeliinist jne.

Demorakenduse leiad siit: http://folli.stacc.cloud/demo
(rakendus võib käivitamiseks paar minutit aega võtta)

Folli kasutab piltide võrdlemiseks numbrilist vektorkuju. Piltide töötlemisel on kasutatud tehisnärvivõrku InceptionV3 ja dimensioonide vähendamise algoritmi UMAP. Demorakenduse kasutuseliides kasutab lõplikuks visualisatsiooniks Yale'i ülikoolis välja töötatud lahendust PixPlot.

Krati tehnilise teostuse eest vastutab STACC OÜ. Töö on tellinud Muinsuskaitseamet koostöös Rahvusraamatukoguga ja projekti rahastati Euroopa Liidu Regionaalarengu Fondist.