ATVĒRTA INICIATĪVA LATVIEŠU VALODAI

Atrodi piemērotāko iegulumu modeli latviešu valodai.

Latviešu valodas iegulumu modeļu MTEB salīdzinājums: meklēšana, klasifikācija un klasterēšana ar atsevišķiem mērījumiem.

Fokusā latviešu valoda Veidots izstrādātājiem Pārskatāma novērtēšana

Citi novērtējumiIegulumi · MTEB

MTEB(Multilingual, v1) · tikai latviešu valoda (lav, lvs). Mērīti rezultāti pa uzdevumiem, datu apakškopām un sadalījumiem.

Modeļu līderu tabula

Izpēti rezultātus pa uzdevumiem un salīdzini modeļus.

14 modeļu konfigurācijas · 6 mērījumi + vidējais

Vidējais (Average). Visu 6 mērījumu aritmētiskais vidējais ar vienādu svaru. Aprēķina tikai tad, ja pieejami visi mērījumi. MassiveIntent validācijas un testa sadalījumi ir atsevišķi mērījumi, tāpēc šim uzdevumam ir lielāks kopējais svars. Dažādas metrikas mēra dažādas spējas; vidējais ir šīs atlases kopsavilkums, nevis universāls kvalitātes vērtējums.

Nodrošinātājs

Modeļa pieejamība

Rezultātu pārskats

Vidējais (Average) · Mērījumu vidējais · 0–100 · skala 0–100

Atbilstoši atlasītajiem filtriem

Labākais rezultāts: 55,0
Vidējais rezultāts: 38,6
Novērtētas konfigurācijas: 14 / 14

55,0

48,9

46,3

45,7

44,0

40,7

37,2

36,8

35,6

34,0

32,9

29,4

27,8

26,6

14 no 14 modeļiemMērījumu vidējais · 0–100 augstāks ir labāks

#	Pieejamība	Rezultāts
01	API	55,0
02	Atvērti svari	48,9
03	Atvērti svari	46,3
04	API	45,7
05	Atvērti svari	44,0
06	Atvērti svari	40,7

Izvēlies 2–4 modeļus salīdzināšanai. Vidējais ir visu sešu mērījumu aritmētiskais vidējais; nepieciešami visi seši rezultāti. MassiveIntent validācija un tests katrs saņem atsevišķu svaru.

Izvēlies modeli savam uzdevumam

Labs rezultāts vienā kategorijā nenozīmē labāko modeli visiem projektiem. Salīdzini spējas, pieejamību un sava projekta vajadzības.

Pārskatāmi no pirmās dienas

Multi QA LV pārbauda lasītprasmi, teksta labošana — praktisko valodas kvalitāti. Katru rezultātu vari salīdzināt ar tā izmaksām un izpildes konfigurāciju.