ATVĒRTA INICIATĪVA LATVIEŠU VALODAI

Kurš LLM vislabāk labo tekstu latviski?

250 teikumu pārbaudījums: salīdzini LLM pieturzīmju, gramatikas un diakritisko zīmju labojumus, kā arī teksta labošanas izmaksas.

Salīdzini kvalitāti ar izmaksām

Fokusā latviešu valoda Veidots izstrādātājiem Pārskatāma novērtēšana

Citi novērtējumiIegulumi · MTEB

250 bojāta teikuma un zelta benchmarka pāri. Atjauno pieturzīmes, reģistru, vārdformas un diakritiskās zīmes. Precīza sakritība, rakstzīmju līdzība, labojumu F0,5 un kopējais vidējais · 0–100. Tikai mērīti rezultāti. Nelabota teksta kopējais bāzes vērtējums: 31,6. Vērtēšanas metodoloģija

Modeļu līderu tabula

Izpēti rezultātus pa uzdevumiem un salīdzini modeļus.

13 modeļu konfigurācijas · 4 uzdevumu kategorijas

Kopējais vērtējums. Precīzas sakritības, rakstzīmju līdzības un labojumu F0,5 vienādi svērts aritmētiskais vidējais. Publicē tikai pēc visām 250 atbildēm.

Nodrošinātājs

Modeļa pieejamība

Rezultātu pārskats

Kopējais vērtējums · Trīs metriku vidējais · 0–100 · skala 0–100

Atbilstoši atlasītajiem filtriem

Labākais rezultāts: 84,7
Vidējais rezultāts: 74,1
Novērtētas konfigurācijas: 13 / 13

84,7

84,1

83,2

80,8

79,6

79,0

77,8

74,2

69,0

68,1

64,8

62,2

55,3

13 no 13 modeļiemTrīs metriku vidējais · 0–100 augstāks ir labāks

#	Pieejamība	Rezultāts	USD / teikums
01	Slēgts / frontier	84,7	0,001596 $
02	Slēgts / frontier	84,1	0,007613 $
03	Slēgts / frontier	83,2	—
04	Slēgts / frontier	80,8	0,000145 $
05	Slēgts / frontier	79,6	0,001289 $
06	Atvērti svari	79,0	—

Izvēlies 2–4 modeļus salīdzināšanai. Kopējais vērtējums ir trīs metriku vienādi svērts vidējais; visas metrikas publicē pēc 250 atbildēm.

Izvēlies modeli savam uzdevumam

Labs rezultāts vienā kategorijā nenozīmē labāko modeli visiem projektiem. Salīdzini spējas, pieejamību un sava projekta vajadzības.

Pārskatāmi no pirmās dienas

Multi QA LV pārbauda lasītprasmi, teksta labošana — praktisko valodas kvalitāti. Katru rezultātu vari salīdzināt ar tā izmaksām un izpildes konfigurāciju.