Den 7/100, “Je to jak vozit cement na stavbu v Rolls Royce nejvyšší třídy”, pomyslím si o komerčních drahých modelech pro použití v API. To si myslí spousta lidí, co si pořizuje Mac Mini za 50.000 Kč pro OpenClaw, ale podle mě je to blbost. Ale o tom dále.

Pomalu večer dokoukávám Extrémní proměny na Nově, po dlouhé době pořad, na který jsem si udělal trošku času. Většinu času ovšem trávím spíše vzděláváním, networkingem, a pak radši procházkami s kočárkem, a taky posilovnou. U extrémních proměn usínám, vidím jen začátek a konec. Kolem půlnoci jdu radši migrovat jednu mojí MySQL databázi s Raspberry Pi na novější Dell Optiplex. Usínám kolem jedné hodiny ráno.

Zpět k AI. V komentářích mi tu píšete, kolik to stojí peněz. Pouštíte si MCP servery na Claude, nebo prostě si instalujete různé agenty, a využíváte drahé API. Často tedy zaznívá to, jestli si nepustit nějaký lokální model jako Ollama. Někteří už do toho šli, a pořídili si počítač za 50.000 Kč. Teď studená sprcha, lokální model je většinou blbost. Potřebujete na něj fakt dobrou grafiku, nejlíp v ceně třeba 50.000 Kč, a pak solidní počítač, aby to alespoň trošku běželo, a co si budeme povídat, většinou to nevyužijete.

Jistým řešením jsou služby jako Groq, které jsou takové VPS (spíše serverlesss služba, protože platíte jen za tokeny) pro AI. Vlastně oni pořídí drahý hardware, a pustí vám na něm nějaký lokální model, a vy platíte třeba 10x nižší cenu, než byste platili u OpenAI. Takovouto službu nabízí i velcí cloud provideří, jako třeba Amazon se službou AWS Bedrock. Pořídit si tedy server pro lokální model se vyplatí až od určitého nemalého využití, a mezi námi, aby vám to nepadalo na timeoutech a nečekali jste století na odpověď, chce to třeba grafiku s 40GB RAM a server s 64GB RAM, ne úplně levné zboží, a to se nebavím o elektřině, která fakt v ČR levná není.

Ve výsledku si ovšem můžete takový server také pronajmout napřímo i s grafikou, pokud byste jo chtěli nějaký lokální model, výhoda je, že vám o to odpadne správa. Agenty jako OpenClaw nebo N2N pak můžete provozovat se vzdáleným modelem, a samotný OpenClaw vyžaduje minimum systémových prostředků - 4GB RAM a 20GB SSD.

Takže za mě, hardware na lokální AI si zatím prostě nekupujte, i kdyby vás o tom někdo přesvědčoval. Radši si pusťte menší lokální modely někde v cloudu u providera, co vám nabídne solidní a konkurenční cenu.