Jak stavím a jak hluboko jdu
Agentní systémy, inference velkých modelů a datová infrastruktura — a cesta, která k tomu vedla.
Většina „AI agentů“ je jen demo. Produkční systémy potřebují pod sebou celou infrastrukturu.
Stavím napříč všemi vrstvami — od agentních toků, které pohánějí produkt, po inferenci, proxy a datovou infrastrukturu pod nimi. Takhle to vypadá na úrovni orchestrace; důkazy z infrastruktury jsou níž.
- 01
Orchestrace více modelů
Směrování požadavků mezi lokálními modely (Qwen, Gemma) a cloudovými API (Claude, GPT) podle složitosti úlohy a ceny. V produkci to ušetřilo 60–80 % nákladů oproti čistě cloudovému řešení.
→ Nasazeno v Discury na objemných agentních úlohách — vlastní Qwen 3.6, špičkové cloudové modely jen tam, kde vyšší cenu ospravedlnila kvalita výstupu.
- 02
Volání nástrojů ve stylu Hermes
Žádné křehké řetězce promptů. Agent dostane sadu nástrojů a rozhoduje sám. Vyžaduje to silný model pro uvažování a správně zvolenou granularitu nástrojů. Zkušenosti z nasazení v produkci.
→ Nasazeno v Margly pro autonomní vícekrokovou orchestraci nad daty objednávek, nákladů a reklam.
- 03
Architektura postavená na MCP
Model Context Protocol jako základ pro napojení nástrojů. Praktické postupy pro správu kontextu, zotavení z chyb a ladění vícekrokových agentů.
- 04
Jak agenti selhávají v produkci
Zacyklené volání nástrojů, vymyšlená volání, zahlcení kontextového okna, nekonečné opakování pokusů. Co jsem v provozu viděl a jak to řešit.
→ Postupy ze stavby a provozu několika produkčních aplikací postavených na AI.
- 05
Ekonomika tokenů v agentních systémech
Cena zpracování vstupu (prefill) proti generování, opakované využití KV cache, spekulativní dekódování pro agentní smyčky a praktické výpočty návratnosti.
→ Proč jsem Advanty a Discury postavil na vlastní inferenci — naměřená návratnost M3 Ultra oproti cloudovým API podle typu úlohy; při výpadku se lokální inference automaticky přepnula do veřejného cloudu.
Píšu o tom pravidelně. Pokud máte produkčního AI agenta, který prodělává na tokenech nebo selhává v provozu, ozvěte se →
Jak hluboko do technologií jdu — když to ekonomika vyžaduje.
Když to jednotková ekonomika vyžaduje, jdu až dolů — na úroveň inference i přístupu k datům. vllm-mlx (58 začleněných PR) a vlastnoručně postavená sada LTE proxy jsou dva konce téhož příběhu: vlastní inference, díky které byly produkty levné na provoz, a vlastní infrastruktura pro sběr dat, díky které jsou veřejná data z webu spolehlivě dostupná. MLX dělám z potřeby efektivity, ne jako výzkumnou specializaci.
vllm-mlx — klíčový přispěvatel
58 začleněných PR do open-source projektu pro inferenci LLM na Apple Silicon (1 600+ hvězd na GitHubu). Hlavní autor implementace Anthropic Messages API (/v1/messages) — vrstvy, díky které vllm-mlx funguje s Claude Code a OpenCode.
Hlavní oblasti práce:
- ·Kvantizace KV cache: QuaRot při běžící inferenci, asymetrická kvantizace K/V pro prefix cache, Hadamardova rotace TurboQuant R1 pro kvantizaci vah MoE bez odlehlých hodnot
- ·Dekódování s omezeními: vynucení JSON schématu, potlačení přemýšlení (thinking), ošetření úvodního textu, opravy polí objektů
- ·Infrastruktura multimodálních modelů: kontext pro logits procesor, opravy zdvojených tokenů, tools/tool_choice v šablonách chatu
- ·Spolehlivost v provozu: rozpoznání odpojeného klienta, započtení rozpracovaných tokenů při zrušení požadavku, statistiky generation_tps u dávek
- ·Streamování: inkrementální dekódování bezpečné pro UTF-8, volání nástrojů s parserem uvažování, opravy úniků při streamování Anthropic API
Splash (Inco AI) — spoluautor podpory Qwen3.8-Flash-Next
Open-source inferenční engine pro LLM na Apple Silicon (C++, Objective-C++, Metal; 1 500+ hvězd na GitHubu). Podpora modelu Qwen3.8-Flash-Next je od 20. 10. 2026 v hlavní větvi a stojí na výpočtu modelu z mého portu — správce mě uvádí jako spoluautora u 8 commitů: kernely pro hyper-connections, n-gram embeddingy a block indexer, směrování 512 expertů a načítání GGUF ve formátech Q2_0, BF16, F16, Q8_0 i v rozdělených souborech. Sloučené jsou i moje pull requesty #255 (průběh a priorita běžících požadavků v /status) a #354 (osamocené surrogáty jako U+FFFD).
→ github.com/incoai/splash — potvrzení spoluautorstvíInfrastruktura pro sběr dat (druhý konec)
Vlastnoručně postavená sada LTE proxy — Raspberry Pi a běžné MiFi modemy s rotujícími IP adresami mobilních operátorů (CGNAT). Sběr dat jde přes mobilní adresy, komerční proxy slouží jako okamžitá záloha. Reálná propustnost produkčních pipeline: přes 10 000 požadavků denně.
→ Článek o LTE proxy (anglicky)Dávková inference v produkci
Apple M3 Ultra s 256 GB jako hlavní stroj pro inferenci. Úlohy s poměrem zpracování vstupu a generování 9 : 1 (klasifikace obrázků, štítkování obsahu, strukturovaná extrakce). Trvalá propustnost 274 tokenů/s na Gemma 4 26B-A4B při 8 souběžných požadavcích.
Ekonomika hardwaru
Reálné výpočty návratnosti: M3 Ultra proti RTX PRO 6000 Blackwell pro různé typy úloh. Cena za token u cloudových poskytovatelů proti vlastní infrastruktuře. Modelování doby návratnosti investic do hardwaru.
Nasazení lokálních LLM
vLLM, SGLang, llama.cpp, MLX — kdy použít který. Kompromisy kvantizace, provoz více modelů najednou, automatické škálování na vlastních serverech proti Kubernetes.
Cesta od začátku
- DNES
Aktuálně
Vlastní produkty: Self-Healing Parser (data.hilgard.cz), Google SERP & AI Overviews API (serp.hilgard.cz), URL to Markdown API (reader.hilgard.cz) a llamat.com ve fázi dokončování. Edge AI na Raspberry Pi + Hailo s vlastním trénovaným modelem odhadu věku. Klíčový přispěvatel vllm-mlx, spoluautor podpory Qwen3.8-Flash-Next ve Splash. Vybraným technologickým firmám poskytuji strategické konzultace v oblasti AI architektury, scrapingu a systémového škálování.
- ZAČÁTEK 2025
Spuštění Advanty, Margly a Discury + vllm-mlx
Nasazení a spuštění tří AI produktů v roli CTO a AI architekta: Margly (analýza ziskovosti pro e-shopy), Discury (analýza zákazníků a trhu) a Advanty (analýza konkurence s pomocí AI). Architektury kombinují lokální inferenci se špičkovými cloudovými modely. Zároveň aktivní role klíčového přispěvatele open-source frameworku vllm-mlx (inference LLM na Apple Silicon, 58 začleněných PR, autor vrstvy kompatibilní s Messages API pro nástroje jako Claude Code).
- 2024
Výzkum a vývoj AI platformy
Intenzivní vývoj, testování lokálních modelů a návrh hybridní infrastruktury pro chystané AI produkty. Práce na spolehlivosti orchestrace agentních toků a na optimalizaci nákladů na tokeny.
- 2023
Vývoj a spoluzaložení Lobot.chat
Vývoj pokročilého e-commerce chatbota s integrací na platformy jako Shopify, WooCommerce či Magento. Na projektu se jako spoluzakladatel nadále aktivně technicky podílím.
- 2022
Plný přechod k AI a strojovému učení
Hluboký ponor do lokálních LLM, agentních postupů a optimalizace inference. Překlenutí mezery mezi akademickým výzkumem a infrastrukturou, kterou si samostatný zakladatel dokáže reálně provozovat.
- 2021
Spoluzaložení GuruWatch
Vývoj a spuštění robustní pipeline pro sběr a zpracování dat, která sleduje cenové trendy u stovek e-shopů (značky jako Lenovo, Infinix, Niceboy). Pro projekt i nadále působím jako technický konzultant.
- ZÁŘÍ 2020
Úspěšný exit Hosting90
Kompletní prodej společnosti Hosting90 systems s.r.o. mezinárodní skupině WY Group (provozovatel značky Ignum). Transakce byla veřejně oznámena.
→ hostingy.net - 2002
Založení Hosting90
Založení hostingové a infrastrukturní společnosti a jejích 18 let budování od nuly z garáže až po tým 25 lidí a vlastní servery.
Máte zajímavý projekt?
Provozuji vlastní datovou infrastrukturu (serp.hilgard.cz, reader.hilgard.cz, data.hilgard.cz). Vybraným technologickým firmám poskytuji strategické konzultace v oblasti AI architektury, scrapingu a systémového škálování.
Kontakt →