125 miliárd parametrov na hernom PC za 21 dní. Čo Strata naozaj zvládne a kde začína odhad

Na obrazovke svieti 94 tokenov za sekundu.

To číslo cituje autor open-source projektu Strata na zostave s RTX 5070 s 12 GB VRAM a 64 GB RAM, a to pri najviac stlačenej verzii modelu Q2_0 - a je to zároveň najčastejšie preberané číslo celého projektu. Lenže je to meranie autora, nie nezávislé. A hneď vedľa neho stojí iný údaj: 7 – 8,5 tokenu za sekundu pri variante UD-Q4_K_XL na 64 GB počítači. Ten istý model, ten istý deň, rozdiel vyše desaťnásobný. Kto si to nevšimne, kúpi si pamäťové moduly podľa nesprávneho čísla.

Čo Strata vlastne je

Projekt Strata (github.com/Niko1221/Strata, licencia MIT) vznikol 24. 9. 2026 a za 21 dní nazbieral približne 22,5 tisíca hviezdičiek (18. 10. už vyše 27 tisíc). Nie je to model. Je to runtime (behové prostredie) - vrstva, ktorá umožní spustiť Qwen3.8-Flash-Next, model so 125 miliardami parametrov v architektúre MoE (mixture of experts, zmes expertov), na bežnom hernom počítači.

Princíp je zrozumiteľný aj bez hlbšej znalosti:

• Najpoužívanejší experti sedia na grafickej karte - teda v rýchlej VRAM.
• Zvyšok je v operačnej pamäti (RAM) a dopočítava ho procesor.
• Špekulatívne dekódovanie (pomocná vrstva samotného modelu, tzv. MTP, navrhne niekoľko tokenov dopredu a model ich naraz overí) zvyšuje priepustnosť tam, kde sa inak čaká na pamäť.
• API kompatibilné s OpenAI aj Anthropic beží na localhoste, takže sa k nemu pripojíte z existujúcich nástrojov a dáta neopúšťajú počítač.

To posledné je pri firemnom nasadení často dôležitejšie než samotná rýchlosť. Ak texty neopustia váš počítač, odpadá celá kapitola o spracúvaní údajov u tretej strany.

Čo sú merania a čo len odhad autora

Toto je jadro celého článku a zároveň najväčší zdroj nedorozumenia na sociálnych sieťach.

Merané autorom (nie nezávisle overené):

• 94 tok/s na RTX 5070, 12 GB VRAM + 64 GB RAM pri najviac stlačenej verzii Q2_0. Pri kvalitnejšej IQ3_S na tej istej zostave 53 tok/s.

Odhad autora, nie meranie:

• 100 – 140 tok/s na RTX 3090. Pri tomto údaji nie je doložené, na akej zostave a s akou kvantizáciou vznikol. Berte ho ako orientačný strop, nie ako sľub.

Reálne pomalá varianta:

• UD-Q4_K_XL na 64 GB počítači: 7 – 8,5 tok/s, pričom dáta sa čítajú z SSD. To je rýchlosť, pri ktorej si človek čítanie užíva, ale na plynulý chat vo viacerých oknách to nestačí.

Prvé načítanie modelu môže počítač na 1 – 3 minúty spomaliť alebo zamraziť. Nie je to chyba: desiatky gigabajtov sa presúvajú medzi diskom, pamäťou a kartou.

Naše meranie: Strata na RTX 6000 Ada

Pôvodne sme tu mali len pokus s tým istým modelom cez Ollamu. Stratu sme medzitým nainštalovali a zmerali sami. Čo presne bežalo: Strata 0.1.45 (zdrojový kód zo 16. 10. 2026) na Linuxe, grafická karta RTX 6000 Ada s 48 GB VRAM, 128 GB RAM, procesor Xeon s 24 jadrami. Na porovnanie ten istý model cez Ollamu v 4-bitovej verzii Q4_K_M na tom istom stroji. Rovnaké slovenské zadania, jeden používateľ, bez režimu premýšľania.

Na dlhom vstupe je teda Strata pri rovnakom modeli a rovnakom stroji zhruba 2,5-krát rýchlejšia v odpovedi a 10-krát rýchlejšia v čítaní. Na kartu so 48 GB sa pri UD-Q4_K_XL zmestí približne polovica expertov (38 GB), pri IQ3_S až 85 % (40 GB). Preto je menšia verzia ešte rýchlejšia.

Skúška na skutočných textoch: vie z nich poradiť? Modelu sme naraz dali 26 článkov o káve (21 300 slov, 50 200 tokenov) a položili tri otázky: aký pomer a teplotu použiť pri AeroPresse v štýle espressa, ako prebieha domáce praženie a čo robiť, keď prvý prask nepríde do 10 minút, a nakoniec čisto poradenskú: „Ráno mám na kávu len 6 minút a nechcem nič zložité. Čo mi poradíš?“

Obe verzie odpovedali správne a s odkazom na konkrétny článok, z ktorého čerpali (20 g kávy, 60 g vody, 95 °C; praženie 8 – 14 minút, prvý prask po 4 – 6 minútach). Pri tretej otázke model nevypísal len fakty, ale poradil: vybral French press z iného článku, vysvetlil, prečo sa hodí na všedné ráno, a priložil postup. Celý text prečítal za 18 sekúnd a odpovedal rýchlosťou vyše 100 tokenov za sekundu. Jediná drobnosť: pri rozpise šiestich minút si 4-bitová verzia jeden krok skrátila z minúty na pol minúty. Na prácu s dlhými podkladmi, z ktorých treba vytiahnuť radu, je to technicky výborný výsledok.

Čo sme pri inštalácii zistili:

• Na Linux nie je hotový engine. Hotové balíky vychádzajú len pre Windows. Na Linuxe sa engine kompiluje a inštalátor si chce cez sudo doinštalovať CUDA Toolkit (8 – 10 GB). Dá sa to obísť inštaláciou toolkitu do priečinka používateľa, kompilácia potom trvá niekoľko minút.
• Predvolene obslúži jednu otázku naraz. Pre jedného človeka (programovanie, práca s dlhými dokumentmi) je to ideálne, pre hromadné spracovanie s mnohými súbežnými otázkami je lepší iný server.
• Pamäť: pri UD-Q4_K_XL si Strata vzala celú kartu a vyše 100 GB RAM. Popri nej na tom stroji nič iné na grafike nebeží.
• Na programovanie by sme zostali pri 4-bitovej verzii. Kód je na stlačenie modelu citlivejší ako bežný text, a IQ3_S sme na kóde nemerali.

Licencia: čo smie firma

Strata má licenciu MIT. Samotný model Qwen3.8-Flash-Next má Qwen Community License 1.0, ktorá je voľná, no s jednou podstatnou výnimkou: kto prevádzkuje „Model as a Service“ (sprístupňuje model tretím stranám cez API) alebo predáva AI asistenta na programovanie či kancelársku prácu, potrebuje od Qwenu samostatnú licenciu. Interné použitie vo firme je výslovne povolené, ak sa model ani jeho schopnosti nesprístupnia tretím stranám. Pre interné zhrnutia, analýzy a programovanie je to v poriadku, pre službu pre klientov treba licenciu riešiť vopred.

Požiadavky a kde sa skrývajú skutočné náklady

Podľa README projektu:

• NVIDIA RTX 20 – 50 alebo vybrané AMD Radeon (napr. RX 7900, RX 9070) s min. 12 GB VRAM
• 32 GB RAM (64 GB na všetky veľkosti modelu)
• dostatok voľného miesta na disku pre model a jeho kvantizácie
• Windows alebo Linux

Všimnite si nepomer: grafickej pamäte stačí 12 GB, operačnej treba najmenej 32 GB, a ak chcete skúšať všetky veľkosti modelu, tak 64 GB. To je pri lokálnych modeloch nezvyčajné a má priamy dôsledok na rozpočet. Operačná pamäť je výrazne lacnejšia než grafická. Ak teda zvažujete, čo dokúpiť, poradie je jasné:

1. Najprv RAM. Prejsť z 32 na 64 GB RAM je zvyčajne výrazne lacnejšie než skok z 12 na 24 GB VRAM.
2. Disk. 80 GB pre model znamená, že na systémovom NVMe musí zostať rezerva. Ak máte disk takmer plný, model sa nemusí načítať vôbec.
3. Grafická karta až na konci. Viac VRAM pomôže, ale pri MoE architektúre neprináša lineárne zrýchlenie. Peniaze vložené do RAM sa pri tomto modeli vrátia skôr.

Pre porovnanie, ako sa správa VRAM pri rôznych modeloch a kvantizáciách, sa oplatí vrátiť k nášmu článku o VRAM a lokálnych LLM a k prehľadu Ollama vs LM Studio vs llama.cpp - princíp „čo sa nezmestí do VRAM, dopočíta CPU“ je tam rozobratý podrobnejšie.

Pre koho áno a pre koho nie

Dáva zmysel, ak:

• Potrebujete lokálne spracovanie citlivých textov (zmluvy, interná dokumentácia, osobné údaje) a nechcete ich posielať do cloudu.
• Máte herný počítač s 12 GB VRAM a 64 GB RAM a chcete si vyskúšať, čo dnes lokálne zvládne.
• Vykonávate dávkové úlohy - zhrnutia, klasifikácia, prepis - kde nie je dôležitá odozva v reálnom čase, ale to, že dáta zostanú doma.
• Ste vývojár a chcete API na localhoste kompatibilné s OpenAI, aby ste nemuseli prepisovať existujúci kód.

Nedáva zmysel, ak:

• Očakávate rýchly chat ako v cloude. Pri 7 – 8,5 tok/s na 64 GB zostave to nie je plynulý zážitok.
• Máte menej než 64 GB RAM a chcete spúšťať všetky veľkosti modelu.
• Potrebujete spoľahlivú prevádzku pre firmu. Projekt má 21 dní. To nie je kritika kvality, to je fakt o zrelosti.
• Počítate s tým, že to nahradí cloudový model v produkcii. Pri jednej verzii runtime a jednej verzii modelu je to experiment, nie infraštruktúra.

Richardov verdikt: čo urobiť tento týždeň

Ak máte doma 12 GB VRAM a chcete vyskúšať lokálny model so 125 miliardami parametrov, Strata je jednou z ciest, ako to dnes vyskúšať - zvážte dokúpenie 64 GB RAM, nie novej grafiky. Ak ale potrebujete rýchlu a spoľahlivú prevádzku pre firmu, berte Stratu ako experiment na testovacom počítači, nie ako produkčnú infraštruktúru. A pri číslach 94 a 140 tok/s si vždy overte, či ide o meranie, alebo o odhad. Na našej karte so 48 GB sme namerali 93 – 127 tok/s, takže autorove čísla pri veľkej pamäti obstoja.

Zdroje

• Strata - repozitár projektu, github.com/Niko1221/Strata (citované 12. 10. 2026)
• Qwen3.8-Flash-Next - dokumentácia modelu a licencia (Qwen Community License 1.0), huggingface.co (citované 12. a 18. 10. 2026)
• Vlastné meranie redakcie 18. 10. 2026, Strata 0.1.45 a Ollama na RTX 6000 Ada 48 GB, 128 GB RAM