AI na vlastním mobilu offline

Pokud jste někdy chtěli mít vlastní "ChatGPT" vždy po ruce, ale bez potřeby internetového připojení, aplikace PocketPal AI by mohla být přesně to, co hledáte. Umožňuje spustit lokální verzi velkého jazykového modelu (LLM) přímo na vašem mobilním zařízení. V tom je její největší síla – veškerá data zůstávají na vašem zařízení, takže máte plnou kontrolu nad svým soukromím a nemusíte se obávat úniku dat na internet.

Jedním z hlavních důvodů, proč použít lokální LLM, je právě ochrana dat a možnost práce offline. Navíc neexistují žádná omezení používání – ať už chcete generovat texty, analyzovat data, nebo si jen povídat s AI, neplatíte za přenesená data a můžete si vybírat z mnoha dostupných modelů.

Začít s PocketPal AI je snadné a nevyžaduje žádné technické znalosti. Stačí aplikaci PocketPal AI stáhnout z App Store nebo Google Play, a jste připraveni spustit svou vlastní AI. V aplikaci si pak ještě vyberete, stáhnete a nastartujete konkrétní model.

Při tom všem ale nezapomeňte na hardware. I když zní myšlenka mít AI vždy po ruce lákavě, je třeba si uvědomit, že výkon na běžných telefonech nemusí být dostatečný a některé starší či méně výkonné modely si s aplikací nemusí poradit vůbec. Pro plné využití aplikace je potřeba zařízení s dostatečným výkonem a pamětí. A v tom je na druhou stranu největší slabina této aplikace.

Pro koho je PocketPal AI vhodná? Pokud chcete mít AI model vždy k dispozici, ale nechcete se spoléhat na cloudové služby, nebo pokud vám záleží na bezpečnosti a soukromí dat, PocketPal je skvělá volba. Uživatelé mohou modely navíc jemně doladit podle vlastních potřeb, což z této aplikace dělá velmi flexibilní nástroj pro každodenní použití.

AI na vlastním počítači

V posledních letech zažívá umělá inteligence (AI) obrovský rozmach. Od chatbotů po generativní nástroje, AI se dostala do každodenního života i práce, a to s velkým přínosem pro jednotlivce i firmy. Mnozí se proto zajímají, jak si tyto technologie přinést blíž k sobě – třeba přímo na svůj počítač. Tady přichází na scénu LM Studio, které umožňuje snadné spuštění AI modelů lokálně, tedy přímo na vašem zařízení, bez potřeby cloudových služeb.

LM Studio bylo uvedeno na trh v roce 2024 a jeho hlavním cílem je zpřístupnit AI technologie každému, kdo má dostatečný hardware. Díky podpoře open-source modelů, jako jsou Llama, Mistral nebo StarCoder, si můžete vybrat, jaký model se nejlépe hodí pro vaše účely, ať už jde o programování, zpracování přirozeného jazyka nebo jiné úlohy.

Jak si LM Studio spustit na vlastním počítači? Nejdřív je potřeba si stáhnout aplikaci pro Windows, macOS nebo Linux přímo ze stránek LM Studia. Poté můžete přejít do záložky Discover a vybrat model z nabídky nebo si najít konkrétní model podle názvu. Následně model načtete do paměti a můžete začít s ním komunikovat v rozhraní Chat.

Je ale potřeba mít na paměti, že práce s AI vyžaduje určitý hardware. Minimální požadavky zahrnují Mac s procesory M1/M2/M3 nebo PC s podporou instrukcí AVX2, což znamená, že méně výkonná zařízení mohou mít s těmito modely problémy. Doporučuje se také mít alespoň 16 GB RAM, zejména pro větší modely.

Jaké modely jsou k dispozici? LM Studio podporuje širokou škálu modelů. Například Llama 3.1, který je univerzálním modelem od společnosti Meta, nebo Mistral, populární open-source model s 7 miliardami parametrů. Pokud hledáte něco specializovanějšího, můžete zkusit StarCoder, který je navržen pro generování kódu a řešení programátorských úloh, nebo Qwen 2.5, což je model ideální pro práci s rozsáhlými texty a strukturovanými daty. Další modely najdete na Hugging Face.

LM Studio je skvělý nástroj, pokud chcete experimentovat s AI lokálně a bez obav o soukromí, protože všechna data zůstávají na vašem zařízení. Je to přístupná a flexibilní cesta, jak přinést AI přímo k vám domů.

Po upgradu Ubuntu 24.04.1 LTS přestala fungovat VPN s protokolem L2TP

Po nedávné aktualizaci na Ubuntu 24.04.1 LTS mě čekalo velmi nepříjemné překvapení – moje VPN přestala fungovat. Konkrétně šlo o protokol L2TP, což je trochu starší protokol, ale pořád ho některé služby používají. Když jsem se snažil připojit, nic se nestalo. V panelu konfigurace VPN se vypsala jen chyba, že se nenačetl editor konfigurace. Současně nastavení jiné VPN vypadalo v pořádku.

Pomocí příkazu nmcli jsem dokázal akorát zkontrolovat, že konfigurace VPN existuje. 

nmcli connection show

Samozřejmě první krok byl hledat pomoc online. Narazil jsem na pár zdrojů – třeba na AskUbuntu a Launchpad bug report, kde už kolegové tento problém probírali. Ukázalo se, že je to známý bug a spousta lidí na něj po upgradu narazila.

Naštěstí jsem našel jasné řešení – stačilo přidat PPA, kde je opravena verze balíčku network-manager-l2tp, a všechno zase běží jak má. Takže pokud na to někdo z vás narazí, tady je rychlý fix:

sudo add-apt-repository ppa:nm-l2tp/network-manager-l2tp

sudo apt update

sudo apt install network-manager-l2tp network-manager-l2tp-gnome

Mě to zabralo okamžitě, VPN opět jede a můžu pracovat i po večerech doma. Hurááá! Ale jak už to tak bývá, s každým opravou systému nikdy nevíš, jestli jsi tím náhodou nerozbil něco jiného. To se teprve ukáže.

Llama Coder - aplikace na přání

Pamatujete si, jak jsme se ve škole učili malou násobilku? A jak jsme si ji museli znovu a znovu procvičovat, až nám šla jako po másle? No, dneska pro vás mám něco, co tohle všechno posune na úplně novou úroveň.

Představte si, že potřebujete rychle vytvořit aplikaci na procvičování malé násobilky – a teď pozor, nebudeme se s tím piplat celé hodiny nebo dny, ale zvládneme to během několika minut. Jak? Jednoduše! S pomocí nástroje Llama Coder, což je šikovný AI asistovaný nástroj na generování kódu.

Llama Coder: Co to vlastně je?

Llama Coder je jako váš osobní programátorský kouč. Nemusíte být programátorský mág, abyste s ním vytvořili něco úžasného. Stačí vám nápad, který mu zadáte – a klidně i česky! Ano, slyšíte správně, nemusíte znát žádný specifický programovací jazyk. Jen mu jednoduše napíšete, co chcete, a on vám během pár vteřin vygeneruje hotový kód.

Když dřív bylo programování na dlouhé lokty...

Teď se na chvíli vraťme zpátky v čase. Pamatujete, jak dlouho trvalo, než jsme naprogramovali i ty nejjednodušší aplikace? Týdny, někdy i měsíce práce. Museli jste dokonale rozumět programovacím jazykům, měli jste před sebou hodiny a hodiny psaní a ladění kódu, testování a opravování chyb. A když jste konečně měli hotovo, občas jste zjistili, že to pořád není úplně ono, a začali jste znova.

Magie jedním kliknutím

Ale dnes? Llama Coder vám to všechno usnadní. Stačí otevřít llamacoder.together.ai, napsat, co chcete naprogramovat, a za minutku máte hotovo. Skutečně, za minutku! Nevěříte? Mrkněte třeba na tohle procvičovátko malé násobilky, které jsem vytvořil za pár sekund: llamacoder.together.ai/share/QGhI0. 😎 Je to jednoduché, rychlé a efektivní.

Kde všude Llama Coder využijete?

No a teď si představte, kde všude byste mohli Llama Coder využít. Nejste si jistí? Tady je pár příkladů:

• Vzdělávání: Tvorba interaktivních výukových nástrojů. Ať už chcete procvičovat matematiku, programování nebo cokoliv jiného, Llama Coder vám pomůže během chvilky.
• Start-upy a malé podniky: Máte nápad na aplikaci, ale nemáte programátora? Žádný problém! Llama Coder vám umožní vytvořit prototyp, který můžete ihned začít testovat.
• Automatizace práce: Jednoduché skripty a automatizace, které by normálně zabraly hodiny práce, jsou s Llama Coder otázkou pár minut.
• Hobby projekty: Máte v hlavě nápad na malou hru nebo aplikaci pro vlastní potěšení? S Llama Coder je to hračka.

A to je jenom špička ledovce! Možnosti jsou prakticky nekonečné.

(Ano, text napsal Chat GPT)

Text-to-Image Generátory v Akci: Kdo Vyhraje?

Nedávno jsem narazil ^*) na zajímavý web Artificial Analysis, který se zabývá porovnáváním různých jazykových modelů včetně hodnocení text-to-image generátorů. Mají tam skvělý leaderboard, kde se různé modely porovnávají podle kvality, rychlosti a ceny.

Mno, a teď k tomu, co mě fakt zaujalo. Midjourney v6 je teď na vrcholu. Jo, je to špička, co se týče kvality obrázků, ale taky si musíte počkat a plácnout se přes kapsu. V patách mu šlapou Stable Diffusion 3 a DALL·E 3 HD, které jsou trochu rychlejší a levnější, ale kvalitou prý pořád nedosáhnou na Midjourney.

Web nabízí i možnost zapojit se do hodnocení. Jo, vy sami můžete klikat a hodnotit, který model je podle vás nejlepší. A to je podle mě super, protože takhle dostáváme šanci ovlivnit, jak ty modely v žebříčku dopadnou. Každý hlas se počítá!

Taky se mi líbí, že tam mají podrobné porovnání. Takže jestli vás zajímá, jaký je rozdíl mezi kvalitou obrázku za pět korun a za deset, tady to najdete. Přehledně, jasně, všechno na jednom místě.

^*) "narazil" znamená "přečetl o tom v textu Image Generators in the Arena" ;-)