Hver gang du stiller en chatbot et spørgsmål, rejser din tekst typisk ud af huset. Den sendes til store datacentre, behandles af en model, du ikke ejer, og kommer tilbage som et svar. Men det er faktisk ikke den eneste måde. Du kan i dag hente en sprogmodel ned og lade den køre direkte på din egen computer, uden at spørgsmålene forlader maskinen.
Det lyder som noget for entusiaster, og det er det delvist stadig. Men det er blevet noget, nysgerrige almindelige brugere kan prøve. Her er, hvad det vil sige at køre AI lokalt, hvad det kræver af hardware, og hvad du vinder og taber på privatlivet.
Hvad betyder »lokalt«?
En sprogmodel er i praksis en stor fil med de indstillinger, der blev fastlagt under træningen. Når du bruger en online-tjeneste, ligger filen hos udbyderen, og al regnearbejdet foregår på deres servere. Når du kører modellen lokalt, ligger filen på din egen harddisk, og det er din processor og dit grafikkort, der gør arbejdet, hver gang modellen skal producere næste stykke tekst.
Du skal bruge to ting: selve modellen og et program, der kan indlæse den og give dig en samtaleflade. Der findes flere gratis programmer til formålet, nogle med et enkelt vindue som i en almindelig chatbot, andre mere teknisk orienterede og styret fra kommandolinjen.
Hvor kommer modellerne fra?
Modeller, der kan hentes og køres hjemme, kaldes ofte åbne modeller eller »open weights«. Det betyder, at udvikleren har udgivet de færdigtrænede indstillinger, så andre kan bruge dem. Det er ikke det samme som, at alt bag modellen er åbent. Træningsdata og træningsmetoder er ofte ikke offentliggjort.
Licenserne varierer også. Nogle modeller må bruges frit, også i erhverv. Andre har begrænsninger, for eksempel for kommerciel brug eller for meget store virksomheder. Læs derfor altid licensen, især hvis du vil bruge modellen på jobbet.
Hvad kræver det af din computer?
Den vigtigste flaskehals er hukommelse. Modellen skal være indlæst, mens den arbejder, og jo større den er, desto mere plads fylder den. Hurtig kørsel kræver typisk, at modellen kan ligge i grafikkortets egen hukommelse. På nogle computere deler processor og grafik hukommelse, og her er det den samlede mængde, der tæller. Er hukommelsen for lille, kan modellen enten ikke indlæses eller bliver meget langsom.
Som tommelfingerregel gælder: små modeller kan ofte køre på en moderne bærbar, mens de store og mest kapable kræver kraftig, dyr hardware, som de færreste har stående hjemme. Derudover skal du have plads på disken, da en enkelt model kan fylde adskillige gigabyte.
Hastigheden afhænger ikke kun af, om modellen kan være der, men også af, hvor hurtigt data kan flyttes rundt i maskinen. En model, der lige akkurat passer i hukommelsen, kan svare langsomt, mens en mindre model på samme maskine kan føles næsten øjeblikkelig. Derfor er det ofte bedre at vælge en lidt mindre model, der kører ubesværet, end en stor, der hakker.
Kvantisering: modeller på slankekur
For at få modellerne til at fylde mindre bliver de ofte »kvantiseret«. Det betyder groft sagt, at de enkelte værdier gemmes med lidt mindre præcision, ligesom et billede kan komprimeres. Modellen fylder og kræver mindre, men kvaliteten kan falde en smule. For mange almindelige opgaver er forskellen til at leve med, men du mærker den måske på svære opgaver.
Privatliv: hvad vinder du?
Den store gevinst er, at dine tekster, dokumenter og spørgsmål ikke sendes til en tredjepart. Det er interessant, hvis du vil have AI til at hjælpe med noget, du helst ikke lægger på en fremmed server, som egne notater, private breve eller interne papirer. Modellen kan desuden køre uden internetforbindelse, når den først er hentet.
Du slipper også for konti, abonnementer og afhængighed af, at en tjeneste ændrer vilkår, begrænser funktioner eller lukker. Modellen er din, så længe du beholder filen.
Der er også en mere subtil gevinst: du kan eksperimentere uden at tænke på, hvad hver forespørgsel koster eller registreres som. Det gør det nemmere at lære, hvordan modellerne reagerer på forskellige instruktioner, og hvor deres grænser går.
Men lokalt er ikke det samme som automatisk sikkert. Du bør hente modeller og programmer fra kilder, du har grund til at stole på, da download af ukendte filer altid indebærer en risiko. Nogle programmer gemmer desuden samtalehistorik på din computer, og den er kun så beskyttet som maskinen selv. Og forbinder du programmet til onlinetjenester, forlader data igen din computer.
Hvad mister du?
De største modeller hos de store udbydere er typisk mere kapable end dem, du kan køre hjemme. Du kan opleve, at en lokal model er dårligere til svære ræsonnementer, lange tekster eller sprog som dansk. Den kan også tage fejl og finde på ting, lige som de online modeller gør, så de samme forbehold gælder.
Dertil kommer det praktiske. Du skal selv installere, vælge model og opdatere. Computeren kan blive varm og støje, og batteriet på en bærbar tømmes hurtigt, når modellen arbejder. Svarene kommer måske langsommere, end du er vant til. Det er et valg mellem bekvemmelighed og kontrol.
Sådan prøver du uden at bruge en weekend
Start småt. Vælg et enkelt program til lokale modeller fra en velrenommeret kilde, og hent en lille model først. Prøv den på noget ufarligt, som at omformulere en tekst eller forklare et begreb, og mærk, om hastigheden og kvaliteten er til at leve med. Kan din computer det, kan du gradvist prøve større modeller. Kan den ikke, har du ikke tabt andet end lidt diskplads.
Hvad kan du bruge det til?
Lokale modeller egner sig godt til at omskrive og forkorte tekster, til at brainstorme, til at forklare begreber og til at hjælpe med enkel programmering. Til opgaver, hvor det er afgørende at få et helt præcist og opdateret svar, er de mindre pålidelige. Husk, at en lokal model hverken har adgang til internettet eller til nyheder fra efter sin træning, medmindre du selv kobler den på.
Hvad betyder det for dig?
Lokal AI er ikke en erstatning for de store tjenester, men et alternativ med en anden prioritering. Du bytter noget kapacitet og bekvemmelighed for kontrol over dine data. Hvis du ofte arbejder med følsomt materiale, eller bare vil forstå, hvordan teknologien fungerer indefra, er det værd at prøve. Hvis du mest vil have det bedste svar hurtigst muligt, er onlinetjenesterne stadig det nemmeste valg, så længe du er bevidst om, hvad du lægger ind i dem.
