ATVĒRTA INICIATĪVA LATVIEŠU VALODAI

Cik precīzi LLM nosaka teikuma nozīmes struktūru?

497 uzdevumi par vārdu nozīmi un situācijas dalībniekiem teikumā. Mēra, vai modelis atpazīst situācijas tipu un nosaka, kas ko dara, kam, kur vai kad.

Fokusā latviešu valoda Veidots izstrādātājiem Pārskatāma novērtēšana

Citi novērtējumiIegulumi · MTEB

Datu un vērtēšanas versija

497 uzdevumi: 100 freimu un 397 semantisko lomu jautājumi. Pārbauda, vai modelis atpazīst vārda nozīmi teikuma kontekstā un nosaka situācijas dalībniekus vai apstākļus — kas ko dara, kam, kur vai kad. Nav neatkarīgas cilvēka validācijas; publisks korpuss var būt modeļu apmācības datos. Vērtēšanas metodoloģija

Modeļu līderu tabula

Izpēti rezultātus pa uzdevumiem un salīdzini modeļus.

12 modeļu konfigurācijas · 4 uzdevumu kategorijas

Precīza atbilde. Pareizo atbilžu īpatsvars visos 497 uzdevumos. Mēra, cik precīzi modelis nosauc situācijas tipu un atrod prasītās lomas galveno vārdu.

Nodrošinātājs

Modeļa pieejamība

Diagrammas skats

Rezultātu pārskats

Precīza atbilde · Exact match · % · skala 0–100

Atbilstoši atlasītajiem filtriem

Labākais rezultāts: 90,5
Vidējais rezultāts: 53,7
Novērtētas konfigurācijas: 12 / 12

90,5

89,7

81,7

74,6

68,8

60,2

57,1

42,3

27,2

24,1

16,3

12,3

12 no 12 modeļiemExact match · % augstāks ir labāks

#	Pieejamība	Rezultāts
01	Slēgts / frontier	90,5
02	Slēgts / frontier	89,7
03	Slēgts / frontier	81,7
04	Slēgts / frontier	74,6
05	Slēgts / frontier	68,8
06	Slēgts / frontier	60,2

Izvēlies 2–4 modeļus salīdzināšanai. Precīza atbilde apvieno visus uzdevumus pēc to skaita; freimu un lomu rezultāti pieejami atsevišķi. V1 un V2 nav tieši salīdzināmi.

Izvēlies modeli savam uzdevumam

Labs rezultāts vienā kategorijā nenozīmē labāko modeli visiem projektiem. Salīdzini spējas, pieejamību un sava projekta vajadzības.

Pārskatāmi no pirmās dienas

Multi QA LV pārbauda lasītprasmi, teksta labošana — praktisko valodas kvalitāti. Katru rezultātu vari salīdzināt ar tā izmaksām un izpildes konfigurāciju.