Den 9/100, “Zadarmo i žloutenku”: pamatuji se na větu, kterou o milionáři z chatrče Patriku Chrzovi prohlásili jeho známí. No jeho příběh by byl na samostatnou knihu, ale vraťme s k lokálním modelům, u kterých jsem byl přesvědčován, jak jsou zdarma a skvělé. Ale to až za chvilku.

Dneska bylo opět nádherné počasí, tak jsme vyrazili s kočárkem opět na procházku. Teď se networkingu a učení věnuji sedm dní v týdnu, ale tak nějak na pohodu, nesedím jen doma. Ráno jsem konečně přemigroval Raspberry Pi na můj server Dell Optiplex. Raspberry Pi sem už nechtěl delší dobu používat, kvůli ARM architektuře, i celkově mnoha odlišnostem od architektury x64, ARM je sice v mnoha ohledech lepší, ale své domácí prostředí chci spíše standardizovat.

Zpět k AI, podíval jsem se na přednášku jednoho z mých čtenářů Michala Svobody na konferenci OpenAlt. Pojednával o výhodách lokálních modelů. No byl to spíše workshop, pár měsíců starý. Abych pravdu řekl, ne všechno se mi dařilo, na mém hlavním počítači mám Windows s WSL a grafikou 6GB, kde reálně využijete tak 4GB. Takže množství modelů co nainstalujete na Ollama bylo opravdu nízké, a kvalita příšerná. Občas to na mě mluvilo i čínsky 👌 Michal sice ve své přednášce tvrdí, že větší modely zpracuje CPU, ale mě to prostě nefungovalo, ty modely co se nevešly do paměti GPU psaly tak jedno slovo za 3 vteřiny, nějak si to nedokážu vysvětlit. To co se vešlo do GPU naopak jelo zběsile rychle, ale kvalita byla nízká.

Trošku jsem zkoumal, proč si lidi kupují ten Mac Mini. Důvod je prostý, pro AI potřebujete hodně video paměti, dále jen VRAM. A třeba grafická karta s 32GB VRAM, nejlevnější 80.000 Kč na Alza.cz . Nicméně Mac Mini má věc, které se říká Unified Memory, to znamená, že sdílí paměť pro CPU i GPU, a dá se tak získat za o něco lepších podmínek stroj s 32GB nebo klidně i 64GB RAM, která může fungovat i jako VRAM. Proto Mac Mini. Další výhoda je spotřeba, nemáte grafiku co žere 300W elektřiny, ale počítač, co má spotřebu 10-20W. Nicméně si taky klidně připravte třeba 40k - 50k Kč, toliko k modelu zdarma.

Jinak strašně bych se chtěl omluvit lidem co se přihlásili do mého newsletteru na www.enigma14.eu , že jim dorazil 2x ten samý e-mail. Přenastavoval jsem jednu automatizaci, a aplikace MailerLite se nechovala zrovna předvídatelně. Co bylo zajímavé je, že jsem napsal požadavek na support - samozřejmě s pomocí AI, a odpověděla mi zase AI, ale skvěle, velmi kvalitně, musím pochválit. Občas mi přijde, že ten AI support je fakt lepší než nějaký přetížený junior za minimálku na chatu.

A co si o tom myslíte vy? Podělte se v komentářích…