Predstavte si firemný server, ktorý od rána spracúva citlivé zmluvy, no ani jeden znak z nich neopustí budovu.
Presne to dnes nie je sci-fi - open modely sa dajú prevádzkovať priamo na domácom GPU serveri. Poskytovatelia infraštruktúry dnes tento scenár sprístupňujú firmám, ktoré nechcú posielať dáta do cloudu. Pozrime sa, čo to reálne znamená pre váš hardvér, rozpočet a prevádzku.
Prečo vôbec ísť mimo cloudu
Pri cloudovom API platíte za každý token a dáta opúšťajú váš perimeter. Pri vlastnom GPU serveri je to naopak: jednorazový výdavok na železo, žiadne poplatky za tokeny a dáta zostávajú izolované. Poskytovatelia infraštruktúry to potvrdzujú - ZonerCloud vo svojom magazíne uvádza, že do zákazníckych serverov nemá prístup a dáta nepoužíva na trénovanie vlastných modelov. To je presne ten argument, ktorý dnes ťahá firmy od cloudových API k vlastnému železu.
Aký výkon reálne potrebujete
Kľúčové číslo nie je počet parametrov modelu, ale kapacita grafickej pamäte (VRAM). Podľa ZonerCloudu ponúka NVIDIA RTX PRO 6000 Blackwell s 96 GB VRAM priestor pre náročnejšie LLM modely aj rozsiahle grafické projekty bez nutnosti kupovať drahý hardvér a riešiť chladenie či servis.
- Malé modely (do ~8 mld. parametrov): zvládne ich aj 16–24 GB VRAM, vhodné na dopĺňanie kódu či sumarizáciu.
- Stredné modely (30–70 mld.): potrebujete 48–96 GB VRAM, často v kvantizovanej podobe.
- Veľké modely (100+ mld.): 96 GB je spodná hranica, reálne sa bavíme o viacerých GPU alebo o kompromise v kvantizácii.
Pozor na pascu: výrobcovia radi uvádzajú špičkový výkon, no pri inferencii rozhoduje priepustnosť pamäte a latencia, nie papierové teraflopy.
Softvér: čo na tom beží
Samotný model je len polovica. Druhá je vrstva, ktorá ho obsluhuje. Dve overené cesty:
- NLP Cloud ponúka on-premise/edge nasadenie svojich modelov na vlastných izolovaných serveroch - priamo spomína modely ako GPT-OSS 120B, LLaMA 3.1 405B či vyladený LLaMA 3.3 70B a spoluprácu s NVIDIA na nízkych latenciách.
- Tabby (open-source, self-hosted kódovací asistent) je model-agnostický: spustíte server cez Docker, vyberiete lokálny open model a pripojíte IDE plugin. Podľa recenzie na Sider.ai (aktualizovanej 18. 9. 2025) sa dá mať bežiaci server pomerne rýchlo, ak ovládate Docker a konfiguráciu IDE.
Obe cesty majú spoločné to, že softvér je zdarma alebo licencovaný, no platíte infraštruktúru, údržbu a monitoring.
Skryté náklady, ktoré vás prekvapia
Toto je časť, ktorú marketing rád preskočí:
- Elektrická energia a chladenie. Server beží 24/7, nie len počas požiadaviek. Pri dedikovanom GPU serveri je spotreba trvalá.
- Prevádzka (DevOps). Aktualizácie modelov, bezpečnostné záplaty, monitoring využitia VRAM. Tabby recenzia to pomenúva jasne: nie je to plug-and-play pre netechnické tímy.
- Kvalita modelu. Open model nemusí dosiahnuť vyladenosť platených cloudových riešení - kvalita dopĺňania sa líši podľa modelu a kontextu.
- Kvantizácia = kompromis. Zmenší model do vašej VRAM, ale môže mierne znížiť presnosť.
ZonerCloud ponúka AI/GPU server vyskúšať v rámci skúšobnej prevádzky - rozumný spôsob, ako si overiť výkon na vlastnom projekte bez záväzku.
Kedy sa to vyplatí a kedy nie
Vyplatí sa, ak: spracúvate citlivé dáta (zdravotníctvo, právo, IP), máte stabilnú a vysokú záťaž a chcete kontrolu nad modelom aj výstupmi.
Nevyplatí sa, ak: máte nepravidelnú alebo nízku záťaž, nemáte nikoho na údržbu, alebo potrebujete špičkovú vyladenosť hneď po vybalení. Vtedy môže byť cloudové API lacnejšie a jednoduchšie.
Praktický tip zo ZonerCloudu: GPU potrebujete pre vlastný model, nie automaticky pre agenta - agentovi napojenému na externé API často stačí bežný VPS.
Technický záver: Výpočtová suverenita sa začína pri VRAM
Vlastný GPU server dnes nie je luxus pre korporácie - je to realistická voľba pre firmu, ktorá má dáta, ktoré nesmú von, a záťaž, ktorá sa počas roka zaplatí. Rozhodujúce čísla sú tri: kapacita VRAM (koľko modelu sa vmestí), trvalý príkon (koľko stojí prevádzka) a čas na údržbu (kto to celé udrží v chode). Ak aspoň dve z nich sedia, open model na vlastnom železe vám dá kontrolu, ktorú cloudové API nikdy nedá. Ak nesedí ani jedno, cloud zostáva rozumnejšou voľbou.
Zdroje
- NLP Cloud - On-Premise / Edge AI, nlpcloud.com/sk (citované 6. 11. 2026)
- ZonerCloud - Sila ZonerCloud AI GPU v praxi, zonercloud.sk (citované 6. 11. 2026)
- Sider.ai - Recenzia AI Tabby, sider.ai (aktualizované 18. 9. 2025, citované 6. 11. 2026)
