ATVĒRTA INICIATĪVA LATVIEŠU VALODAI

Cik labi LLM saprot tekstu latviski?

Salīdzini LLM lasītprasmi latviešu valodā ar Multi QA LV. Pārskatīta atbilžu pareizība, sākotnējais tokenu F1, teksta labošana un izmaksas vienuviet.

Salīdzini kvalitāti ar izmaksām

Fokusā latviešu valoda Veidots izstrādātājiem Pārskatāma novērtēšana

Citi novērtējumiIegulumi · MTEB

Multi QA LV · 500 jautājumi par Wikipedia tekstiem latviešu valodā. Modelis saņem pilnu tekstu un jautājumu; atbildi izraksta no teksta. Bez piemēriem. Pārskatīta pareizība: 472 jautājumi, 28 neskaidri jautājumi izslēgti visiem vienādi. Pieņem pārbaudītus saīsinājumus; personvārdu locījumiem jābūt pareiziem. Viena Codex veikta pārskatīšana. Sākotnējais F1 un precīzā sakritība pieejami atsevišķi. Tikai mērīti rezultāti. Vērtēšanas metodoloģija

Modeļu līderu tabula

Izpēti rezultātus pa uzdevumiem un salīdzini modeļus.

14 modeļu konfigurācijas · 5 uzdevumu kategorijas

Nodrošinātājs

Modeļa pieejamība

Rezultātu pārskats

Pārskatīta pareizība · Pārskatītas pareizās atbildes · % · skala 0–100

Atbilstoši atlasītajiem filtriem

Labākais rezultāts: 96,8
Vidējais rezultāts: 95,0
Novērtētas konfigurācijas: 14 / 14

96,8

96,6

96,4

96,0

95,8

95,6

95,3

94,9

93,2

92,4

88,8

14 no 14 modeļiemPārskatītas pareizās atbildes · % augstāks ir labāks

#	Pieejamība	Rezultāts	USD / jautājums
01	Slēgts / frontier	96,8	0,006861 $
02	Slēgts / frontier	96,6	0,000206 $
03	Slēgts / frontier	96,6	0,009983 $
04	Atvērti svari	96,4	—
05	Slēgts / frontier	96,0	0,003508 $
06	Slēgts / frontier	95,8	0,000241 $

Izvēlies 2–4 modeļus salīdzināšanai. Kopējais vērtējums netiek aprēķināts; katrs uzdevums ir skatāms atsevišķi.

Izvēlies modeli savam uzdevumam

Labs rezultāts vienā kategorijā nenozīmē labāko modeli visiem projektiem. Salīdzini spējas, pieejamību un sava projekta vajadzības.

Pārskatāmi no pirmās dienas

Multi QA LV pārbauda lasītprasmi, teksta labošana — praktisko valodas kvalitāti. Katru rezultātu vari salīdzināt ar tā izmaksām un izpildes konfigurāciju.