Přeskočit na obsah
TECHNICKÁ HLOUBKA

Jak stavím a jak hluboko jdu

Agentní systémy, inference velkých modelů a datová infrastruktura — a cesta, která k tomu vedla.

01—AGENTNÍ SYSTÉMY

Většina „AI agentů“ je jen demo. Produkční systémy potřebují pod sebou celou infrastrukturu.

Stavím napříč všemi vrstvami — od agentních toků, které pohánějí produkt, po inferenci, proxy a datovou infrastrukturu pod nimi. Takhle to vypadá na úrovni orchestrace; důkazy z infrastruktury jsou níž.

  1. 01

    Orchestrace více modelů

    Směrování požadavků mezi lokálními modely (Qwen, Gemma) a cloudovými API (Claude, GPT) podle složitosti úlohy a ceny. V produkci to ušetřilo 60–80 % nákladů oproti čistě cloudovému řešení.

    → Nasazeno v Discury na objemných agentních úlohách — vlastní Qwen 3.6, špičkové cloudové modely jen tam, kde vyšší cenu ospravedlnila kvalita výstupu.

  2. 02

    Volání nástrojů ve stylu Hermes

    Žádné křehké řetězce promptů. Agent dostane sadu nástrojů a rozhoduje sám. Vyžaduje to silný model pro uvažování a správně zvolenou granularitu nástrojů. Zkušenosti z nasazení v produkci.

    → Nasazeno v Margly pro autonomní vícekrokovou orchestraci nad daty objednávek, nákladů a reklam.

  3. 03

    Architektura postavená na MCP

    Model Context Protocol jako základ pro napojení nástrojů. Praktické postupy pro správu kontextu, zotavení z chyb a ladění vícekrokových agentů.

  4. 04

    Jak agenti selhávají v produkci

    Zacyklené volání nástrojů, vymyšlená volání, zahlcení kontextového okna, nekonečné opakování pokusů. Co jsem v provozu viděl a jak to řešit.

    → Postupy ze stavby a provozu několika produkčních aplikací postavených na AI.

  5. 05

    Ekonomika tokenů v agentních systémech

    Cena zpracování vstupu (prefill) proti generování, opakované využití KV cache, spekulativní dekódování pro agentní smyčky a praktické výpočty návratnosti.

    → Proč jsem Advanty a Discury postavil na vlastní inferenci — naměřená návratnost M3 Ultra oproti cloudovým API podle typu úlohy; při výpadku se lokální inference automaticky přepnula do veřejného cloudu.

Píšu o tom pravidelně. Pokud máte produkčního AI agenta, který prodělává na tokenech nebo selhává v provozu, ozvěte se →

02—DŮKAZ HLOUBKY

Jak hluboko do technologií jdu — když to ekonomika vyžaduje.

Když to jednotková ekonomika vyžaduje, jdu až dolů — na úroveň inference i přístupu k datům. vllm-mlx (58 začleněných PR) a vlastnoručně postavená sada LTE proxy jsou dva konce téhož příběhu: vlastní inference, díky které byly produkty levné na provoz, a vlastní infrastruktura pro sběr dat, díky které jsou veřejná data z webu spolehlivě dostupná. MLX dělám z potřeby efektivity, ne jako výzkumnou specializaci.

  • vllm-mlx — klíčový přispěvatel

    58 začleněných PR do open-source projektu pro inferenci LLM na Apple Silicon (1 600+ hvězd na GitHubu). Hlavní autor implementace Anthropic Messages API (/v1/messages) — vrstvy, díky které vllm-mlx funguje s Claude Code a OpenCode.

    Hlavní oblasti práce:

    • ·Kvantizace KV cache: QuaRot při běžící inferenci, asymetrická kvantizace K/V pro prefix cache, Hadamardova rotace TurboQuant R1 pro kvantizaci vah MoE bez odlehlých hodnot
    • ·Dekódování s omezeními: vynucení JSON schématu, potlačení přemýšlení (thinking), ošetření úvodního textu, opravy polí objektů
    • ·Infrastruktura multimodálních modelů: kontext pro logits procesor, opravy zdvojených tokenů, tools/tool_choice v šablonách chatu
    • ·Spolehlivost v provozu: rozpoznání odpojeného klienta, započtení rozpracovaných tokenů při zrušení požadavku, statistiky generation_tps u dávek
    • ·Streamování: inkrementální dekódování bezpečné pro UTF-8, volání nástrojů s parserem uvažování, opravy úniků při streamování Anthropic API
    → github.com/waybarrios/vllm-mlx
  • Splash (Inco AI) — spoluautor podpory Qwen3.8-Flash-Next

    Open-source inferenční engine pro LLM na Apple Silicon (C++, Objective-C++, Metal; 1 500+ hvězd na GitHubu). Podpora modelu Qwen3.8-Flash-Next je od 20. 10. 2026 v hlavní větvi a stojí na výpočtu modelu z mého portu — správce mě uvádí jako spoluautora u 8 commitů: kernely pro hyper-connections, n-gram embeddingy a block indexer, směrování 512 expertů a načítání GGUF ve formátech Q2_0, BF16, F16, Q8_0 i v rozdělených souborech. Sloučené jsou i moje pull requesty #255 (průběh a priorita běžících požadavků v /status) a #354 (osamocené surrogáty jako U+FFFD).

    → github.com/incoai/splash — potvrzení spoluautorství
  • Infrastruktura pro sběr dat (druhý konec)

    Vlastnoručně postavená sada LTE proxy — Raspberry Pi a běžné MiFi modemy s rotujícími IP adresami mobilních operátorů (CGNAT). Sběr dat jde přes mobilní adresy, komerční proxy slouží jako okamžitá záloha. Reálná propustnost produkčních pipeline: přes 10 000 požadavků denně.

    → Článek o LTE proxy (anglicky)
  • Dávková inference v produkci

    Apple M3 Ultra s 256 GB jako hlavní stroj pro inferenci. Úlohy s poměrem zpracování vstupu a generování 9 : 1 (klasifikace obrázků, štítkování obsahu, strukturovaná extrakce). Trvalá propustnost 274 tokenů/s na Gemma 4 26B-A4B při 8 souběžných požadavcích.

  • Ekonomika hardwaru

    Reálné výpočty návratnosti: M3 Ultra proti RTX PRO 6000 Blackwell pro různé typy úloh. Cena za token u cloudových poskytovatelů proti vlastní infrastruktuře. Modelování doby návratnosti investic do hardwaru.

  • Nasazení lokálních LLM

    vLLM, SGLang, llama.cpp, MLX — kdy použít který. Kompromisy kvantizace, provoz více modelů najednou, automatické škálování na vlastních serverech proti Kubernetes.

03—ČASOVÁ OSA

Cesta od začátku

  1. DNES

    Aktuálně

    Vlastní produkty: Self-Healing Parser (data.hilgard.cz), Google SERP & AI Overviews API (serp.hilgard.cz), URL to Markdown API (reader.hilgard.cz) a llamat.com ve fázi dokončování. Edge AI na Raspberry Pi + Hailo s vlastním trénovaným modelem odhadu věku. Klíčový přispěvatel vllm-mlx, spoluautor podpory Qwen3.8-Flash-Next ve Splash. Vybraným technologickým firmám poskytuji strategické konzultace v oblasti AI architektury, scrapingu a systémového škálování.

  2. ZAČÁTEK 2025

    Spuštění Advanty, Margly a Discury + vllm-mlx

    Nasazení a spuštění tří AI produktů v roli CTO a AI architekta: Margly (analýza ziskovosti pro e-shopy), Discury (analýza zákazníků a trhu) a Advanty (analýza konkurence s pomocí AI). Architektury kombinují lokální inferenci se špičkovými cloudovými modely. Zároveň aktivní role klíčového přispěvatele open-source frameworku vllm-mlx (inference LLM na Apple Silicon, 58 začleněných PR, autor vrstvy kompatibilní s Messages API pro nástroje jako Claude Code).

  3. 2024

    Výzkum a vývoj AI platformy

    Intenzivní vývoj, testování lokálních modelů a návrh hybridní infrastruktury pro chystané AI produkty. Práce na spolehlivosti orchestrace agentních toků a na optimalizaci nákladů na tokeny.

  4. 2023

    Vývoj a spoluzaložení Lobot.chat

    Vývoj pokročilého e-commerce chatbota s integrací na platformy jako Shopify, WooCommerce či Magento. Na projektu se jako spoluzakladatel nadále aktivně technicky podílím.

  5. 2022

    Plný přechod k AI a strojovému učení

    Hluboký ponor do lokálních LLM, agentních postupů a optimalizace inference. Překlenutí mezery mezi akademickým výzkumem a infrastrukturou, kterou si samostatný zakladatel dokáže reálně provozovat.

  6. 2021

    Spoluzaložení GuruWatch

    Vývoj a spuštění robustní pipeline pro sběr a zpracování dat, která sleduje cenové trendy u stovek e-shopů (značky jako Lenovo, Infinix, Niceboy). Pro projekt i nadále působím jako technický konzultant.

  7. ZÁŘÍ 2020

    Úspěšný exit Hosting90

    Kompletní prodej společnosti Hosting90 systems s.r.o. mezinárodní skupině WY Group (provozovatel značky Ignum). Transakce byla veřejně oznámena.

    → hostingy.net
  8. 2002

    Založení Hosting90

    Založení hostingové a infrastrukturní společnosti a jejích 18 let budování od nuly z garáže až po tým 25 lidí a vlastní servery.

Máte zajímavý projekt?

Provozuji vlastní datovou infrastrukturu (serp.hilgard.cz, reader.hilgard.cz, data.hilgard.cz). Vybraným technologickým firmám poskytuji strategické konzultace v oblasti AI architektury, scrapingu a systémového škálování.

Kontakt →