Du har sikkert lest argumentet hundre ganger nå. Ingen data forlater maskinen din.
Det høres fint ut i en overskrift. Men det sier ingenting om hvorvidt du faktisk burde gjøre det selv.
Så la oss ta den ordentlige samtalen om lokal AI.
Ikke hypen rundt den.
Den praktiske delen.

Ingen data forlater maskinen din, men hva betyr det egentlig

Personvern er den vanligste grunnen folk nevner når de begynner å snakke om lokal AI.
Det er en ordentlig grunn. Alt du skriver inn i en sky-tjeneste ligger et sted du ikke kontrollerer.
Kanskje det brukes til trening? Kanskje det bare ligger i en logg i tre år?
Du vet det ikke helt sikkert, uansett hva vilkårene sier.

Kjører du modellen på egen maskin forsvinner det spørsmålet helt.
Ingenting sendes noe sted. Det er hele poenget, og det er et godt poeng.
Men du kan ikke stoppe der og tro at det er hele historien. Det er bare halve.

En lokal modell er ikke en liten ChatGPT

Her kommer den delen folk hopper over når de er ivrige etter å prøve noe nytt.
En modell du kjører selv på en vanlig PC eller Mac er ikke en frontier-modell i miniatyr.
Den store forskjellen ligger ikke i grensesnittet.
Den ligger i hvor mye regnekraft og treningsdata som faktisk ligger bak.

En modell fra Anthropic eller OpenAI trenes på enorme datasentre, med kostnader ingen privatperson kan matche.
En modell du laster ned og kjører selv er som regel mye mindre, gjerne et sted mellom syv og førti milliarder parametere avhengig av hva maskinen din tåler. Den er god. Den er ikke like god på alt…

Tenk på lokal AI som et skarpt verktøy for konkrete oppgaver. Ikke som en erstatning for en frontier-modell.
Skrive et førsteutkast av en e-post. Oppsummere et dokument. Rydde opp i tekst du limer inn. Kjøre enkel automatisering på egen maskin uten at noe forlater den. Der er den glimrende!!
Bruker du den til å tenke gjennom et komplekst arkitekturvalg eller skrive avansert kode, kommer du til å merke forskjellen fort.

Regnestykket du faktisk bør gjøre

Pris blir ofte nevnt som argument for lokal AI, og det stemmer delvis.
Regnestykket er mer nyansert enn “gratis er billigere enn abonnement”.

En frontier-modell som Claude eller ChatGPT koster deg typisk rundt 20 dollar i måneden.
Altså, et sted mellom 200 og 250 kroner avhengig av kurs.
Det er en fast kostnad du betaler, og selskapet bak tar støyten på strøm, kjøling og maskinvare i sitt eget datasenter.

Kjører du en modell lokalt flytter du den kostnaden over til deg selv.
Viften i maskinen din går mer. Strømregningen din stiger litt.
Maskinvaren din slites raskere enn om den bare hadde ligget og ventet på en nettleser.
Det er ikke en showstopper, men det er reelt, og det er noe folk glemmer å nevne når de selger inn “gratis og lokalt” som et enkelt regnestykke.
Du betaler fortsatt.
Bare på en annen konto.

Konklusjonen er ikke at lokal AI er dårlig økonomi.
Konklusjonen kan være at du bør velge lokal fordi personvernet og kontrollen betyr noe for deg, ikke fordi du tror det er gratis lunsj.

Verktøyene som gjør dette mulig for vanlige folk nå

For to år siden var lokal AI noe for folk som allerede kunne terminalen utenat.
Sånn er det ikke lenger.
Fire verktøy har gjort dette til noe alle kan sette opp på en formiddag.

Ollama

Ollama er nærmest en pakkebehandler for modeller.
Du skriver én kommando, og den laster ned, konfigurerer og starter modellen for deg.
Ingen grafisk grensesnitt i seg selv, men den snakker med masse annen programvare gjennom et lokalt API.
Passer deg som liker terminalen, eller som vil koble modellen til andre verktøy du allerede bruker.

LM Studio

LM Studio er den polerte varianten.
Fint grensesnitt, enkel modellutforsking, og en innebygd server hvis du vil koble den til noe annet senere.
Denne passer deg som vil se hva som finnes før du bestemmer deg, uten å røre en kommandolinje.

Jan

Jan er den mest rendyrkede personvernvarianten av de fire.
Helt offline som standard, åpen kildekode, og bygget som en fullverdig erstatning for en chat-app i skyen.
Passer deg som ikke vil kompromisse på hvor mye som er gjennomsiktig i verktøyet du bruker.

GPT4All

GPT4All er fortsatt det enkleste alternativet å installere, med et rent grensesnitt og lav terskel.
Verdt å nevne ærlig: utviklingen her har roet seg betydelig det siste året, så du får ikke de nyeste finessene her.
Fungerer fint til enkle chat-oppgaver og dokumentspørring likevel.

Alle fire er gratis.
Alle fire kjører modeller i samme format under panseret.
Forskjellen ligger i grensesnittet og hvor mye kontroll du vil ha, ikke i hvor rå ytelsen er.

Kom i gang på en ettermiddag

Dette er ikke et prosjekt som krever en hel helg.
Sett av to til tre timer en ettermiddag, så er du i mål.

Velg verktøyet ut fra hvem du er

Er du komfortabel i en terminal og vil koble ting sammen selv, start med Ollama.
Vil du heller klikke deg gjennom et rent grensesnitt, start med LM Studio eller Jan.
Vil du bare prøve noe uten å tenke på noe som helst, GPT4All er raskest ut av boksen.

Sjekk maskinen din før du laster ned noe stort

Har du en nyere Mac med 16 gigabyte delt minne, klarer den fint en modell på rundt åtte milliarder parametere.
Har du en Windows-maskin med et vanlig grafikkort, hold deg til de mindre og lettere modellvariantene til å begynne med.
Ikke last ned den største modellen du finner først. Start smalt.

Test verktøyet på en konkret oppgave, ikke på en samtale

Ikke bruk den første timen på å småprate med modellen for å se hvor smart den er.
Gi den en reell jobb med en gang.

  • Lim inn et utkast og be den stramme opp språket.
  • Lim inn en lang e-posttråd og be den oppsummere den i tre setninger.

Det er sånn du finner ut om dette faktisk erstatter noe i arbeidsdagen din.

Koble den til noe du allerede bruker

Når du har funnet verktøyet som passer, koble det til noe eksisterende gjennom det lokale API-et.
Det er her lokal AI slutter å være en lekeplass og begynner å bli en del av arbeidsflyten din, uten at noe av det du jobber med forlater maskinen.

Dette er anti-SaaS-filosofi i praksis.
Ikke fordi skyen alltid er fienden, men fordi du bør vite nøyaktig hvor dataene dine havner. Og, fordi du selv bør bestemme når den avveiningen er verdt det. Noen ganger er det et abonnement på tyve dollar i måneden. Andre ganger er det viften i din egen maskin som jobber litt hardere.

Poenget er at du nå faktisk har valget.
Det hadde du ikke for to år siden.

  • HugByte