Radeon RX 7900 XT s 20 GB, procesor Ryzen 7 3800XT, pamäť DDR4 a slot PCI Express 3.0. To nie je zostava, ktorú by ste dnes označili za „server pre AI".
A predsa na nej beží model so 125 miliardami parametrov rýchlosťou, ktorá ešte pred pár týždňami nebola na takejto konfigurácii dostupná. Podľa videa Code Unpacked z 30. 10. 2026 dosahuje nový engine Avalon 91 tokenov za sekundu tam, kde Strata dáva 61,9 - teda o 47 % viac. Ide o jedno meranie od vývojára bez nezávislého overenia. Poďme sa pozrieť, čo za tým je, kde sú limity a čo si z toho má zobrať firma, ktorá uvažuje o lokálnom AI modeli na vlastnom hardvéri.
Čo je Avalon a prečo vznikol
Avalon je fork (odvodená vetva) llama.cpp - teda nie nový engine od nuly, ale úprava existujúceho. Repozitár sa objavil 9. októbra 2026, prvé merania zverejnil vývojár na GitHube 22. októbra 2026. Avalon nie je postavený na zelenej lúke: vychádza z vetvy Boon llama.cpp a preberá odtiaľ GPU cache pre expertov, kompresné formáty zase z IK llama.cpp. Zaujímavosť: sám vývojár priznáva, že formát rankingu expertov a myšlienku prednačítavania cache prevzal zo Strata. Kruh sa uzatvára - Strata staval na kóde llama.cpp a teraz fork llama.cpp stavia na nápadoch Strata.
Kľúčové je, že Avalon je úzko špecializovaný na jeden model s architektúrou mixture-of-experts. Jeho modelové súbory používajú formáty, ktoré čistý llama.cpp vôbec nenanačíta.
Čísla, ktoré treba vidieť v kontexte
Vývojár otestoval Avalon aj Strata na tej istej zostave, s rovnakým protokolom - greedy decoding, 512 tokenov, medián z troch behov:
- Krátky prompt, kontext 32 000 tokenov: Avalon 62,4 tokenov/s, so špekulatívnym dekódovaním 91. Strata 49, resp. 61,9.
- Kontext 256 000 tokenov (vyplnených 131 000): Avalon 55,6, so špekulatívnym dekódovaním 74,5. Strata 41,8, resp. 50.
- Takmer plný kontext 250 000 tokenov: Avalon 50,5, so špekulatívnym dekódovaním 69,8. Strata 41,8, resp. 50.
- Čítanie promptov: Avalon 1 613 tokenov/s, Strata 1 376 tokenov/s.
Tých 47 % je teda najlepší riadok tabuľky. Bez špekulatívneho dekódovania je rozdiel 27 %, pri takmer plnom kontexte 40 % so špekulatívnym dekódovaním a 21 % bez neho, pri čítaní promptov okolo 17 %. Avalon vyhráva všade, ale nie rovnako.
Kde je teda zrýchlenie
Vývojár opisuje dve myšlienky. Prvá: nechať hardvér pracovať bez prestávky. Žiadny bajt VRAM nemá ležať ladom - cache expertov si berie, čo GPU práve nepotrebuje, výpočtové buffery sa medzi fázami požičiavajú cache a vracajú späť, keď ich graf potrebuje. Časť KV cache, ku ktorej konverzácia ešte nedospela, tiež patrí cache. Rezerva na bezpečnosť je vypočítaná vopred. GPU počíta expertov, ktorých má v cache, a súčasne CPU počíta tých chýbajúcich. Kým sa čítajú prompty, linka PCI Express prednačítava ďalších expertov, aby GPU takmer nikdy nečakala.
Druhá myšlienka je najväčší skok: špekulatívne dekódovanie. V predchádzajúcom videu kanála llama.cpp na 12 GB karte špekulatívne dekódovanie naopak spomalilo - samostatná draft hlava zabrala 3,4 GB VRAM a vytlačila expertov späť do pamäte. Avalon to rieši: jeho draft hlava má okolo 1,5 GB, jej slovník je skrátený na 65 000 najčastejších tokenov a hlavne - delí sa o cache expertov s hlavným modelom, namiesto toho, aby o ňu súperila. Výsledok: 62,4 → 91 tokenov/s. Na fixnom texte sa draft zhodol s modelom v 80,7 % prípadov.
Pozoruhodný detail: mikropri optimalizácie jadier GPU a CPU napísal podľa slov vývojára výhradne AI model, s ním ako „vodičom". Architektúra a pracovné postupy medzi RAM, CPU, PCI Express a GPU vraj vychádzajú z 30 rokov jeho optimalizačnej praxe.
32 GB RAM stačí. Ale za akú cenu?
Model má 89 GB. Karta s 20 GB VRAM plus 32 GB RAM je len 52 GB - model sa nezmestí. Napriek tomu beží, pretože súbor je mapovaný do pamäte a čo sa nezmestí, čítá sa z disku. Vývojár otestoval server obmedzený na 28 GB RAM (ako na 32 GB stroji):
- Rýchlosť generovania klesla z 91,2 na 89 tokenov/s - takmer nič.
- Čítanie nového promptu s 19 000 tokenmi kleslo z 1 283 na 889 tokenov/s - asi o 30 %.
Praktický dôsledok: menej RAM zaplatíte hlavne pri čítaní nových promptov, nie pri písaní odpovede. A to celé závisí od SSD, ktoré dokumentácia nešpecifikuje.
Prvá externá skúsenosť a limity
Jediné nezávislé číslo: používateľ s dvoma kartami Radeon Pro W7800 nahlásil, že server na dvoch kartách vôbec nenabehol - vývojár dovtedy testoval len jednu kartu. Po oprave (a po náleze druhého bugu, ktorý veľkosť každého experta počítal trikrát a engine si myslel, že potrebuje 150 GB) hlásil 58 tokenov/s na jednej karte, so špekulatívnym dekódovaním 87. Na dvoch kartách 46, resp. 70 - teda pomalšie než na jednej. Je to jeden používateľ s krátkymi promptmi, ale prvé číslo zvonku, a sedí blízko k vývojárovým.
Limity, ktoré dokumentácia priznáva: jeden model, jedna karta (viac kariet je experimentálnych), ladené pre RDNA 3 s ROCm na Linuxe, inštalátor len pre ROCm, Windows netestovaný. Základ tvorí llama.cpp zo začiatku októbra plus ručne vybrané zmeny - novšia práca llama.cpp v ňom nie je. Na NVIDIA sa síce dá skompilovať s CUDA, ale existuje len jedno meranie na prenajatej RTX 4090 (120,5 tokenov/s s krátkym promptom, 99,5 pri 250 000 tokenoch kontextu) a jadrá sú stále ladené pre AMD.
Čo si z toho má vziať firma
- Ak máte Radeon RX 7900 XT/XTX, Linux a aspoň 32 GB RAM a chcete Qwen 3.8 Flash Next, Avalon stojí za vyskúšanie. Inštalácia je jeden príkaz.
- Ak ste na NVIDIA, funguje to, ale je to jedno meranie bez inštalátora - na produkciu to zatiaľ nie je.
- Ak chcete desktopovú aplikáciu, Windows, rôzne karty alebo viacerých používateľov naraz, Strata je dnes kompletný projekt.
- Overte si aktuálnosť verzií. Strata od testovanej verzie vydala niekoľko ďalších verzií a porovnanie sa na nich nikto nezopakoval. Tabuľka v readme sa tiež menila - prvé číslo pre čítanie promptov bolo 1 661, po premeraní 1 613.
- Nezabudnite na skrytý náklad: dokumentácia neuvádza typ SSD, na ktorom sa čítanie z disku deje. Pri 89 GB modeli a 32 GB RAM je to premenná, ktorá môže výsledok posunúť.
Je to koniec llama.cpp?
Nie. Čistý llama.cpp Strata neporazil - porazil špecializovaný fork. Jeden model, jeden typ karty, jeden vývojár. Pull request na porazenie Strata v llama.cpp je stále návrh (draft) a pull request, ktorý umožňuje CPU počítať chýbajúcich expertov, je stále otvorený. Avalon však ukazuje dôležitú vec: rozdiel z predchádzajúceho videa nebol tvrdým limitom kódu llama.cpp, ale otázkou miery špecializácie. Odpoveď Avalonu na otázku, koľko špecializovaného kódu má všeobecný engine prijať - nežiadaj, forkni.
Technický záver: čo znamená 47 % pre lokálnu AI v praxi
Číslo 47 % je lákavé, ale v praxi znamená rýchlejšie čítanie promptov a plynulejšiu odpoveď na starom stroji, nie univerzálne zrýchlenie. Pre firmu, ktorá zvažuje lokálny model so 125 miliardami parametrov na vlastnom hardvéri, je podstatnejšie to, že 89 GB model beží na 32 GB RAM so stratou len okolo 2 % rýchlosti generovania - cena sa platí pri čítaní promptov (asi 30 %). Zároveň platí: jedno meranie od vývojára, žiadne nezávislé overenie okrem jedného používateľa, žiadne overenie kvality odpovedí na reálnych úlohách (perplexita je len jazyková metrika, nie test správnosti). Ak plánujete lokálnu AI vo firme, berte Avalon ako dôkaz smeru, nie ako hotový produkt - a pred rozhodnutím si overte aktuálnu verziu Strata, typ SSD a či vám vyhovuje Linux s ROCm.
Zdroje
- Code Unpacked - This llama.cpp Fork Just Beat Strata by 47% on AMD, YouTube, video z 30. 10. 2026, youtube.com/watch?v=wyYTC-rpp0g (citované 31. 10. 2026)
- Frey Riyadok - Avalon, repozitár a benchmarky na GitHube, prvé merania 22. 10. 2026 (citované 31. 10. 2026)
