Kokkuvõte

See blogipostitus uurib keelte kasutust DIGAR-i „vene“ kogus. Enne 1918. aastat avaldatud ajalehtede metaandmed viitavad suurele hulgale venekeelsetele ajalehtedele, kuid nii lehekülje-tasandil kui segmenteeritud andmed näitavad, et ajalehed ei olnud ükskeelsed ja osa venekeelseks märgitud sisust on tegelikult saksa-, eesti- ja lätikeelne. Analüüs näitab, kuidas peegeldub Eesti venestamise ajalugu digiteeritud ajalehtedes ja kuidas probleemid metaandmetega võivad mõjutada OCR-i kvaliteeti.

Metaandmete järgi on suur osa imperialistlikul perioodil (enne 1917. aastat) välja antud ajalehtedest märgitud venekeelseteks. Kui lugeda lehekülgi, peaks olema üle 120 tuhande venekeelse lehekülje (keele tulba järgi), mille ajaline jaotus on järgmine:

Lehekülgede tekste vaadates on ilmne, et vähemalt osaliselt on pealkirja keele metaandmed valed: näiteks varaseimad kogus leiduvad 1852. aastast pärit venekeelsed leheküljed on tegelikult peamiselt saksa keeles.

tekst

Keeletuvastus

Keelte umbkaudseks tuvastamiseks kasutati R-i teeki textcat. See võtab sisendiks teksti stringina ja tuvastab keele arvutades keskmise skoori, tulemuseks on uus metaandmete veerg, mis kajastab iga lehe kõige tõenäolisemat keelt.

Selleks võib leiduda mõni parem moodus, sest paljudel lehekülgedel võib olla mitu keelt koos. See teek on siiski piisav ligikaudseks keelte osakaalu hindamiseks.

textcat'i keeletuvastus pole täiuslik, tuvastatud keelte kogu andmestik näitab, kuidas madala kvaliteediga OCR mõjutab tulemusi. Mõned leheküljed märgiti keelega, mida Eesti ajalehtedes tõenäoliselt ei esinenud, näiteks nepaali või indoneesia keel. Vähemalt 150-s leheküljes esinenud keelte jaotus on järgmine:

## 
##  estonian    german   latvian   russian ukrainian 
##       699     49328       128     74815      3102

Tegelikult tuleks analüüsist välja jätta ka ukrainakeelsed lehed, kuna tegemist on vigaselt tuvastatud kirillitsaga. Juhuslikult valitud lõigud näitavad, et need lehed on enamasti vene keeles, kuna kõiki pole võimalik kontrollida, filtreerisin need lehed välja, märkides need segasteks ja ettearvamatuteks. See tulemus valmistab pettumust – see ei näita keelelist mitmekesisust, vaid pigem viitab probleemsetele tööriistadele, mis on treenitud levinud keelte põhjal, ning väljendab imperialistlikku suhtumist, et ukraina keel (tähestiku poolest) on segane kirillitsa, mis pole vene keel (vt näidet allpool).

tekst

Kui jätta välja ukraina keel, annab textcat keeletuvastus meile järgmise keelejaotuse:

Usun, et see tulemus on märkimisväärne, sest see näitab selgelt, et osa vene keelseks märgitud 19. sajandi ajalehtedest tuleks ümber hinnata: ilmselgelt on tegu saksakeelsete ajalehtedega.

Samas tundub üleminek saksa keelelt vene keelele 1880. aastate lõpus usutav, sest 1880. aastaid tuntakse kui venestamise perioodi. Kummalisel kombel toimus see väga järsku, seega võiks uurida, kas keelevahetuse järel muutus ka oluliselt ajalehtede sisu.

Täienduseks mainin, et keeleline jaotus ei sõltu ilmumiskohast, milleks on enamasti Riia või Tallinn (Revel).

OCR-i täpsus ja keeled

Tehnilisest küljest tundub, et metaandmetes venekeelseks märgitud keeled (või kirjasüsteemid) mõjutavad OCR-i kvaliteeti. Kui kujutada OCR-i täpsus kümnendite kaupa võib jääda mulje, et 1880-ndatel kvaliteet langes, mis võis olla tingitud venestamisest. See on aga väär, sest tegelikuks põhjuseks on OCR-i täpsuse varieeruvus saksa ja vene keele (või üldisemalt ladina ja kirillitsa kirjasüsteemide) vahel. Alltoodud graafik näitab, kuidas OCR-i kvaliteet jaguneb uuendatud keelte metaandmete järgi; samuti on näha, et ukrainakeelseks märgitud lehtedel on OCR-i kvaliteet väga madal.

Kokkuvõttes on oluline ja mõistlik keele metaandmed üksikasjalikumalt ümber hinnata (nt segmentide kaupa), lisada need metaandmetesse ning seejärel koondada mitmekeelsed märgistused kogu ajalehe keeleandmete kogumiseks.

Keeletuvastus segmenteeritud andmete alusel

Aruanne uuendatud: 10/11/2022

Ülaltoodud tekst näitas erinevust pealkirja metaandmete ja tegeliku keelekasutuse vahel ametlikes ajalehtedes kogus: kuigi ajalehed on märgitud venekeelseteks, võib digiteeritud materjalidest järeldada, et suhtluskeelena kasutati valdavalt saksa keelt kuni 1880. aastate keskpaigani. Analüüsiti lehe kaupa, määrates kasutatud keelte osakaalu ja märkides iga lehekülje kõige tõenäolisema keelega. Tulemusi saaks parandada, kui kasutada sisendandmetena kogu lehe asemel ajalehe segmente ehk sektsioone, kus iga sektsioon on tõenäoliselt ühes keeles kirjutatud.

Selle aruande uuenduse eesmärk on demonstreerida segmenteeritud teksti keeletuvastuse tulemusi. Kuna segmenteeritud andmed on hetkel saadaval vaid kahel ajalehel, ei saa allolevaid tulemusi võrrelda kogu korpuse analüüsiga (segmendid on saadaval vaid Eesti ja Liivimaa ametlike ajalehtede jaoks, andmestikus lühendatud kui ekmteataja ja livzeitung).

Segmentide keeled tuvastati paketi textcat abil nagu lehekülgede puhul.
Kümme kõige levinumat keelt on suures osas samad, mis lehekülgede korral; väikeste segmentide puhul on veaoht suurem (eriti kui tekst sisaldab vähem kui 20 sõna).

Balti ajalehtede puhul ootamatud keeled nagu inglise, bulgaaria ja romanši osutusid tuvastusvigadeks, mis tekkisid lühikeste ja madala OCR-i kvaliteediga lõikude tõttu. Kahjuks, nagu ka lehekülgede puhul, on ukraina ja valgevene keeled samuti tõenäoliselt tuvastusvead, mille põhjuseks on kehv OCR ja/või treeningandmete puudumine nende keelte tuvastamiseks. Allpool on toodud juhuslikult valitud näited iga valesti tuvastatud keele kohta.

Sellegipoolest näib textcat-teegi väljund olevat usaldusväärne lõikudel, mis on märgitud läti- või eestikeelseks, isegi siis, kui segmendis on mitu keelt segamini, näiteks:

Valides ainult venekeelsed, saksakeelsed, eestikeelsed ja lätikeelsed segmendid, on keelte jaotus järgmine:

Segmentide ja sõnade arv keelte lõikes:

Kuna segmendid on erineva pikkusega, on võimalik, et segmentide loendamine (eelmine graafik) ei peegelda tekstides kasutatud keelte tegelikku osakaalu. Seda oletust saab testida segmentide sõnade arvu põhjal (metaandmetes LogicalSectionTextWordCount). Eeldame, et üks segment on enamjaolt kirjutatud ühes keeles (seega ei ole sama meetod lehekülje-tasandil rakendatav). Tulemuseks saadud jaotus sarnaneb eelnevalt väljatoodud segmentide arvule.

Lehekülje kaupa tuvastatud keeletega võrdlemiseks saab eelnevalt kogutud andmetest filtreerida välja ainult ekmteataja ja livzeitung (salvestatud faili data/01_pages_meta_rus_lang.csv). Üleminek saksa keelelt vene keelele ja üldine osakaal tundub segmentide puhul olevat enamjaolt sama kui lehekülgede puhul.

Siiski, saksakeelsete lehekülgede arv erineb oluliselt segmentide põhjal kogutud sõnade jaotusest. See võib tuleneda ajalehtede füüsilise formaadi muutusest 19. sajandi lõpul, kui võeti kasutusele väiksemad leheküljed ja väiksem fondi suurus. Sõnade arvu jaotus lehtedel kümnendite lõikes kinnitab seda (metaandmetes puuduvad lehekülgede füüsilised kirjeldused).

Seega olid segmenteeritud andmete analüüs tulemusrikkam, peegeldades mitte ainult keelekasutust ajalehtedes, vaid ka füüsilisi omadusi, nagu lehekülgede ja fondi muutusi ajas. Graafikul on näha, kuidas sõnade arv lehekülje kohta muutus 1860. aastate teisel poolel ja seejärel jäi enam-vähem muutumatuks, mistõttu suurenenud saksakeelsete lehekülgede arv 1850.–1860. aastatel osutab hoopis lehekülje tekstimahu vähenemisele.

OCR-i sõltuvust keelest saab kontrollida segmenteeritud andmetel.

Viita postitusele:
Martynenko, Antonina 2022. Languages in DEA newspaper collection 1850-1918. Eesti Rahvusraamatukogu digilabori juhtumiuuringud. DOI 10.17605/OSF.IO/CPQ2W.

Andmed ja kood on saadaval siin: https://doi.org/10.17605/OSF.IO/CPQ2W.

Uurimus on osa projektist EKKD72 "The usage possibilities of textual data in digital humanities case studies on the example of newspaper collections in Estonia (1850-2020)".