AI na vlastním mobilu offline

Pokud jste někdy chtěli mít vlastní "ChatGPT" vždy po ruce, ale bez potřeby internetového připojení, aplikace PocketPal AI by mohla být přesně to, co hledáte. Umožňuje spustit lokální verzi velkého jazykového modelu (LLM) přímo na vašem mobilním zařízení. V tom je její největší síla – veškerá data zůstávají na vašem zařízení, takže máte plnou kontrolu nad svým soukromím a nemusíte se obávat úniku dat na internet.

Jedním z hlavních důvodů, proč použít lokální LLM, je právě ochrana dat a možnost práce offline. Navíc neexistují žádná omezení používání – ať už chcete generovat texty, analyzovat data, nebo si jen povídat s AI, neplatíte za přenesená data a můžete si vybírat z mnoha dostupných modelů.

Začít s PocketPal AI je snadné a nevyžaduje žádné technické znalosti. Stačí aplikaci PocketPal AI stáhnout z App Store nebo Google Play, a jste připraveni spustit svou vlastní AI. V aplikaci si pak ještě vyberete, stáhnete a nastartujete konkrétní model.

Při tom všem ale nezapomeňte na hardware. I když zní myšlenka mít AI vždy po ruce lákavě, je třeba si uvědomit, že výkon na běžných telefonech nemusí být dostatečný a některé starší či méně výkonné modely si s aplikací nemusí poradit vůbec. Pro plné využití aplikace je potřeba zařízení s dostatečným výkonem a pamětí. A v tom je na druhou stranu největší slabina této aplikace.

Pro koho je PocketPal AI vhodná? Pokud chcete mít AI model vždy k dispozici, ale nechcete se spoléhat na cloudové služby, nebo pokud vám záleží na bezpečnosti a soukromí dat, PocketPal je skvělá volba. Uživatelé mohou modely navíc jemně doladit podle vlastních potřeb, což z této aplikace dělá velmi flexibilní nástroj pro každodenní použití.

AI na vlastním počítači

V posledních letech zažívá umělá inteligence (AI) obrovský rozmach. Od chatbotů po generativní nástroje, AI se dostala do každodenního života i práce, a to s velkým přínosem pro jednotlivce i firmy. Mnozí se proto zajímají, jak si tyto technologie přinést blíž k sobě – třeba přímo na svůj počítač. Tady přichází na scénu LM Studio, které umožňuje snadné spuštění AI modelů lokálně, tedy přímo na vašem zařízení, bez potřeby cloudových služeb.

LM Studio bylo uvedeno na trh v roce 2024 a jeho hlavním cílem je zpřístupnit AI technologie každému, kdo má dostatečný hardware. Díky podpoře open-source modelů, jako jsou Llama, Mistral nebo StarCoder, si můžete vybrat, jaký model se nejlépe hodí pro vaše účely, ať už jde o programování, zpracování přirozeného jazyka nebo jiné úlohy.

Jak si LM Studio spustit na vlastním počítači? Nejdřív je potřeba si stáhnout aplikaci pro Windows, macOS nebo Linux přímo ze stránek LM Studia. Poté můžete přejít do záložky Discover a vybrat model z nabídky nebo si najít konkrétní model podle názvu. Následně model načtete do paměti a můžete začít s ním komunikovat v rozhraní Chat.

Je ale potřeba mít na paměti, že práce s AI vyžaduje určitý hardware. Minimální požadavky zahrnují Mac s procesory M1/M2/M3 nebo PC s podporou instrukcí AVX2, což znamená, že méně výkonná zařízení mohou mít s těmito modely problémy. Doporučuje se také mít alespoň 16 GB RAM, zejména pro větší modely.

Jaké modely jsou k dispozici? LM Studio podporuje širokou škálu modelů. Například Llama 3.1, který je univerzálním modelem od společnosti Meta, nebo Mistral, populární open-source model s 7 miliardami parametrů. Pokud hledáte něco specializovanějšího, můžete zkusit StarCoder, který je navržen pro generování kódu a řešení programátorských úloh, nebo Qwen 2.5, což je model ideální pro práci s rozsáhlými texty a strukturovanými daty. Další modely najdete na Hugging Face.

LM Studio je skvělý nástroj, pokud chcete experimentovat s AI lokálně a bez obav o soukromí, protože všechna data zůstávají na vašem zařízení. Je to přístupná a flexibilní cesta, jak přinést AI přímo k vám domů.

Po upgradu Ubuntu 24.04.1 LTS přestala fungovat VPN s protokolem L2TP

Po nedávné aktualizaci na Ubuntu 24.04.1 LTS mě čekalo velmi nepříjemné překvapení – moje VPN přestala fungovat. Konkrétně šlo o protokol L2TP, což je trochu starší protokol, ale pořád ho některé služby používají. Když jsem se snažil připojit, nic se nestalo. V panelu konfigurace VPN se vypsala jen chyba, že se nenačetl editor konfigurace. Současně nastavení jiné VPN vypadalo v pořádku.

Pomocí příkazu nmcli jsem dokázal akorát zkontrolovat, že konfigurace VPN existuje. 

nmcli connection show

Samozřejmě první krok byl hledat pomoc online. Narazil jsem na pár zdrojů – třeba na AskUbuntu a Launchpad bug report, kde už kolegové tento problém probírali. Ukázalo se, že je to známý bug a spousta lidí na něj po upgradu narazila.

Naštěstí jsem našel jasné řešení – stačilo přidat PPA, kde je opravena verze balíčku network-manager-l2tp, a všechno zase běží jak má. Takže pokud na to někdo z vás narazí, tady je rychlý fix:

sudo add-apt-repository ppa:nm-l2tp/network-manager-l2tp

sudo apt update

sudo apt install network-manager-l2tp network-manager-l2tp-gnome

Mě to zabralo okamžitě, VPN opět jede a můžu pracovat i po večerech doma. Hurááá! Ale jak už to tak bývá, s každým opravou systému nikdy nevíš, jestli jsi tím náhodou nerozbil něco jiného. To se teprve ukáže.