ATVĒRTA INICIATĪVA LATVIEŠU VALODAI

Cik precīzi modelis atpazīst nolūku latviski?

500 īsi pieprasījumi latviešu valodā, 60 iespējamie nolūki. Atsevišķs MASSIVE pilots: pareizība, makro F1, ātrums un izmaksas.

Salīdzini kvalitāti ar izmaksām

Fokusā latviešu valoda Veidots izstrādātājiem Pārskatāma novērtēšana

Citi novērtējumiIegulumi · MTEB

MASSIVE · 500 īsi pieprasījumi latviešu valodā. Izvēle no 60 nolūkiem; 59 pārstāvēti pilotā. Fiksēta attīstības atlase bez precīziem apmācības teksta atkārtojumiem. Pareizība un makro F1; bez piemēriem. Tikai mērīti rezultāti. Vērtēšanas metodoloģija

Modeļu līderu tabula

Izpēti rezultātus pa uzdevumiem un salīdzini modeļus.

4 modeļu konfigurācijas · 2 uzdevumu kategorijas

Pareizība. Precīzi pareizā nolūka īpatsvars visos 500 pieprasījumos. 60 iespējamie nolūki; 59 pārstāvēti attīstības pilotā. Nederīga, atteikta vai aprauta atbilde ir kļūda.

Nodrošinātājs

Modeļa pieejamība

Rezultātu pārskats

Pareizība · Pareizi nolūki · % · skala 0–100

Atbilstoši atlasītajiem filtriem

Labākais rezultāts: 84,2
Vidējais rezultāts: 80,2
Novērtētas konfigurācijas: 4 / 4

84,2

83,2

77,2

76,0

4 no 4 modeļiemPareizi nolūki · % augstāks ir labāks

#	Pieejamība	Rezultāts	USD / pieprasījums	Atbildes laiks
01	Slēgts / frontier	84,2	0,000058 $	383,6 msp95 563,5 ms
02	Slēgts / frontier	83,2	0,000032 $	383,9 msp95 582,3 ms
03	Slēgts / frontier	77,2	0,000154 $	269,5 msp95 566,4 ms
04	Slēgts / frontier	76,0	0,000095 $	243,6 msp95 387,0 ms

Izvēlies 2–4 modeļus salīdzināšanai. Kopējais vērtējums netiek aprēķināts; katrs uzdevums ir skatāms atsevišķi.

Izvēlies modeli savam uzdevumam

Labs rezultāts vienā kategorijā nenozīmē labāko modeli visiem projektiem. Salīdzini spējas, pieejamību un sava projekta vajadzības.

Pārskatāmi no pirmās dienas

Multi QA LV pārbauda lasītprasmi, teksta labošana — praktisko valodas kvalitāti. Katru rezultātu vari salīdzināt ar tā izmaksām un izpildes konfigurāciju.