ATVĒRTA INICIATĪVA LATVIEŠU VALODAI

Cik precīzi modelis atrod personas datus latviski?

500 sintētiski dokumenti ar sintētiskiem mašīntulkojumiem latviešu valodā. Sešas datu kategorijas, precīzi fragmenti un aizklāšana; bez neatkarīga cilvēka pārskatījuma.

Fokusā latviešu valoda Veidots izstrādātājiem Pārskatāma novērtēšana

Citi novērtējumiIegulumi · MTEB

Datu un vērtēšanas versija

V2 · 500 sintētiski dokumenti un mašīntulkojumi. Visu dokumentu latviešu teksts un sešu kategoriju anotācijas pārskatītas divos AI pārbaudes posmos. Nav neatkarīga cilvēka pārskatījuma. Precizēta personvārdu politika; stingrais JSON rezultāts un atsevišķa Markdown ietvara diagnostika. Ārvalstu identitātes saglabātas. V1 un V2 rezultātus nesalīdzina kā vienu datu kopu. Vērtēšanas metodoloģija

Bāzes rezultāts · regulārās izteiksmes

Atpazīst e-pastus un +371 tālruņus. Vietējs noteikumu algoritms; tas nav valodas modelis.

Bāzes salīdzinājums

Fragmentu F1

34,0 %

Precīzas robežas un kategorija. Sintētiski avoti un mašīntulkojumi; sešas datu kategorijas.

Precizitāte

100,0 %

Pareizi atrasto fragmentu daļa visos paredzētajos fragmentos. Nederīgai izvadei viena kļūdaina prognoze.

Atrastie fragmenti

20,5 %

Precīzi atrasto etalonfragmentu daļa; kļūdaina kategorija vai robežas ir kļūda.

Pilnīgi pareizi dokumenti

19,6 %

Visi fragmenti un kategorijas pareizi, bez liekiem fragmentiem; iekļauj pārskatītos dokumentus bez mērķdatiem.

Pārklāti sensitīvie fragmenti

19,6 %

Visas sešu kategoriju etalonrakstzīmes pārklātas ar masku. Pārmērīga aizklāšana šo metriku nepasliktina; lasīt kopā ar precizitāti un diagnostiku.

Derīga izvade

100,0 %

JSON forma, kategorijas, pieminējumu numuri un precīzi teksta fragmenti ir derīgi. Negarantē atpazīšanas pareizību.

Tikai JSON

100,0 %

Sintaktiski derīgs JSON bez Markdown ietvara; atsevišķi no fragmentu pareizības.

F1 bez Markdown ietvara · diagnostika

34,0 %

Noņem tikai vienu ārēju Markdown JSON koda bloku. Nemaina fragmentus, kategorijas vai pieminējumu numurus. Neaizstāj stingro F1.

Derīgi fragmenti bez ietvara

100,0 %

Derīgs JSON un precīzi fragmenti pēc viena ārēja Markdown ietvara noņemšanas. Bez citas atbilžu labošanas.

Skatīt visus 500 dokumentu rezultātus vietējā pārlūkā ↗

Modeļu līderu tabula

Izpēti rezultātus pa uzdevumiem un salīdzini modeļus.

3 modeļu konfigurācijas · 9 uzdevumu kategorijas

Fragmentu F1. Precīzas robežas un kategorija. Sintētiski avoti un mašīntulkojumi; sešas datu kategorijas.

Nodrošinātājs

Modeļa pieejamība

Diagrammas skats

Rezultātu pārskats

Fragmentu F1 · Mikro F1 · % · skala 0–100

Atbilstoši atlasītajiem filtriem

Labākais rezultāts: 96,9
Vidējais rezultāts: 91,8
Novērtētas konfigurācijas: 3 / 3

96,9

95,4

83,0

3 no 3 modeļiemMikro F1 · % augstāks ir labāks

#	Pieejamība	Rezultāts
01	Slēgts / frontier	96,9
02	Slēgts / frontier	95,4
03	Slēgts / frontier	83,0

Izvēlies 2–4 modeļus salīdzināšanai. Kopējais vērtējums netiek aprēķināts; katrs uzdevums ir skatāms atsevišķi.

Izvēlies modeli savam uzdevumam

Labs rezultāts vienā kategorijā nenozīmē labāko modeli visiem projektiem. Salīdzini spējas, pieejamību un sava projekta vajadzības.

Pārskatāmi no pirmās dienas

Multi QA LV pārbauda lasītprasmi, teksta labošana — praktisko valodas kvalitāti. Katru rezultātu vari salīdzināt ar tā izmaksām un izpildes konfigurāciju.