FAQ

Časté otázky k benchmarku

Slovníček pojmů

Full 10Plná sada 10 ukázkových use case.
FASTRychlostní profil – cíl je dostat co nejrychleji použitelný výstup.
THINKProfil, kde má model větší prostor pro přemýšlení.
Warm startModel už je v paměti a nemusí se znovu načítat.
Cold startModel se spouští od nuly.
OKBěh dopadl dobře a výstup je použitelný.
InvalidVýstup nesplnil pravidla – typicky rozbitý JSON.
SkipÚloha přeskočena záměrně (např. textový model neumí obrázky).
TokenMalý kus textu, ze kterého model skládá vstup i odpověď.
TTFTTime To First Token – jak dlouho čekáš na první část odpovědi.
tok/sKolik tokenů model zvládne zpracovat nebo vygenerovat za sekundu.
Coverage %Kolik relevantních úloh model dokončil použitelně.
SalvageZáchranný pokus s upraveným nastavením.
DGX SparkKompaktní NVIDIA zařízení pro lokální AI.
OllamaNástroj pro lokální spouštění modelů přes API.
Structured outputVýstup v přesně daném formátu pro systémy a automatizaci.
JSONJednoduchý strukturovaný formát dat.
Multimodální modelModel, který umí víc druhů vstupů (text + obrázek).
RFPRequest for Proposal – výběrové řízení pro dodavatele.
KvantizaceZmenšení modelu pro rychlejší běh na menší paměti.