Ak pracujete s citlivými firemnými údajmi alebo osobnými dátami, odovzdávanie podkladov do cloudu (API služieb ako OpenAI či Anthropic) môže byť z hľadiska GDPR a bezpečnostných politík neriešiteľné.
Alternatívou je bežne lacnejšie, no menej výkonné lokálne riešenie. Project Maya však mení pravidlá hry: umožňuje spustiť modely s 321 až 748 miliardami parametrov priamo na vašej pracovnej stanici.
Ide o open-source projekt vedený vývojárom Peasant Smithom (@mw00), ktorý sa špecializuje na efektívne spúšťanie veľkých jazykových modelov (LLM) na bežnom hardvéri. Kľúčovou novinkou je podpora dvoch masívnych open-source modelov: GLM-5.3-Flash (321 mld. parametrov, licencia MIT) a novinky DeepSeek-V4.1-Flash-1017 (748 mld. parametrov, licencia MIT).
Ako je možné spustiť „obrov“ na jednej karte?
Tradične takéto modely vyžadujú dátové centrá s desiatkami GPU. Maya využíva inteligentné rozmiestnenie vrstiev modelu naprieč dostupnou pamäťou:
- Najpoužívanejší experti (časť neurónovej siete) sa držia v rýchlej VRAM grafickej karty.
- Ďalšia vrstva expertov sa presúva do systémovej RAM.
- Zvyšok modelu sa číta priamo z rýchleho NVMe SSD disku.
Systém tieto dáta dynamicky prehadzuje počas konverzácie. Ak máte viac grafických kariet, model sa rozdelí medzi ne (až 16 GPU). Maya si pred štartom zmeria váš hardvér a optimalizuje sa na mieru. Dôležité je, že žiadne dáta neopúšťajú vaše zariadenie.
Varianty modelu GLM-5.3-Flash a nároky na pamäť
Project Maya ponúka pre model GLM-5.3-Flash viacero kvantizovaných verzií (komprimovaných variantov), ktoré si vyberáte podľa dostupnej pamäte. Všetky zachovávajú vysokú presnosť pôvodného modelu:
- Maya-S (96,5 GB): Štandardná voľba pre PC s menším objemom pamäte. Zachováva 97,9 % presnosti originálu.
- Maya-S24 (94,7 GB): Optimalizovaná pre karty do 24 GB VRAM. Uvoľňuje viac miesta pre expertov na karte.
- Maya-M (116 GB): Pre väčšie pamäťové pooly; kalibrovaná na programovanie a tvorbu front-endu.
- Maya-L (156,3 GB): Pre najvýkonnejšie stanice. Dosahuje až 99,2 % presnosti FP8 modelu.
Novinka DeepSeek-V4.1-Flash-1017 je ešte náročnejšia. Verzia Maya-S pre tento model zaberá približne 340 GB miesta na disku (vrátane Engram tabuliek). Vyžaduje NVIDIA GPU od generácie Volta (V100) vyššie alebo podporované AMD karty.
Reálne rýchlosti: Čo očakávať?
Rýchlosť generovania textu (decode) závisí primárne od toho, koľko expertov sa zmestí do VRAM a RAM. Údaje pochádzajú z reálnych meraní používateľov projektu:
- 4x RTX 4090 (24 GB): Až 118 tokenov/s.
- RTX PRO 6000 Blackwell (96 GB VRAM): 81,0 tokenov/s pri variante Maya-M.
- Jedna RTX 5090 (32 GB): Viac ako 30 tokenov/s (pri variante Maya-M).
- AMD Radeon 8065S (Strix Halo): Až 29,6 tokenov/s (experimentálna podpora Windows/Linux).
Pre porovnanie: Rýchlosť čítania vášho zadania (prefill) sa pohybuje v tisícoch tokenov za sekundu, čo je pri dlhších promptoch kritické pre responzívnosť.
Pre koho je toto riešenie určené?
Project Maya nie je hračkou pre každého. Je to nástroj pre:
- Firmy s prísnou compliance politikou: Kde je zakázané posielať dáta mimo EÚ alebo mimo vlastnej infraštruktúry.
- Vývojárov a agentov: API je kompatibilné so štandardmi OpenAI (
/v1) aj Anthropic (/v1/messages), takže ho môžete priamo napojiť do existujúcich nástrojov (napr. Claude Code). Podporuje aj paralelné spracovanie až 8 požiadaviek naraz, čo je ideálne pre agentné systémy. - Náročných používateľov: Ktorí potrebujú kontext až do 1 milióna tokenov (pri GLM-5.3-Flash) a plnú kontrolu nad súkromím.
Hardvérové minimum a pasce
Aby to fungovalo rozumne rýchlo, potrebujete:
- GPU: NVIDIA s CUDA compute capability 7.0+ (V100, RTX 20+) alebo experimentálne AMD (RX 7900 XT, Radeon AI PRO).
- RAM: Minimum 32 GB, no viac RAM znamená vyššiu rýchlosť. Pri štarte si engine zaberie takmer všetku voľnú RAM pre expertov.
- Disk: Rýchly NVMe SSD je nevyhnutný. Model DeepSeek zaberá približne 340 až 510 GB podľa kvantizácie. Pomalý disk alebo HDD spôsobia drastické spomalenie.
Upozornenie na Windows: Podpora je experimentálna. Pri AMD procesoroch s integrovanou grafikou (Strix Halo) je nutné ručne nastaviť veľkosť stránkovacieho súboru (page file), aby sa doň zmestili všetci experti, inak hrozí vyčerpanie pamäte.
Verdikt: pre koho sa to oplatí
Ak potrebujete maximálnu súkromnú výpočtovú silu a máte rozpočet na pracovnú stanicu s veľkou RAM a rýchlym diskom, Project Maya je v súčasnosti jedným z najlepších spôsobov, ako dostať výkon špičkových cloudových modelov do vašej kancelárie. Pre bežného používateľa s jednou RTX 4060 je však stále efektívnejšie použiť menšie modely (napr. Gemma 4, Qwen 3.8 alebo Ministral 3), ktoré sa zmestia celkom do VRAM bez nutnosti zložitého swapovania na SSD.
Technický záver: Lokálna inferencia ako štandard pre súkromie
Kým cloudové API zostávajú jednoduchšie na nasadenie, Project Maya ukazuje, že open-source kvantizácia a inteligentné vrstvenie pamäte (VRAM/RAM/SSD) dokážu zrušiť bariéru dátových centier. Pre firmy je to signál, že investícia do lokálneho hardvéru s veľkou RAM a NVMe úložiskom sa už oplatí nielen pre bezpečnosť, ale aj pre výkon pri práci s kontextmi nad 100K tokenov.
Zdroje
- Project Maya GitHub repozitár a dokumentácia, github.com/mw00/project-maya (citované 21. 10. 2026)
- Model GLM-5.3-Flash na Hugging Face, huggingface.co/zai-org/GLM-5.3-Flash (citované 21. 10. 2026)
- Model DeepSeek-V4.1-Flash-1017 na Hugging Face, huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017 (citované 21. 10. 2026)
