Du skriver en halv sætning i telefonen, og tastaturet foreslår næste ord. Det er en lille og tam version af noget, der i større skala kan skrive en novelle, forklare en regel eller finde en fejl i et stykke programkode. Store sprogmodeller, som ligger bag de fleste chatbotter, er i bund og grund en langt mere avanceret udgave af forslagsfunktionen. Men hvordan kommer man fra at gætte et enkelt ord til at føre en samtale?
Her får du forklaringen uden en eneste formel. Vi ser på træningen, på tokens og sandsynlighed og til sidst på det, mange undrer sig mest over: hvorfor modellerne indimellem fortæller noget forkert med fuld selvsikkerhed.
Hvad er en sprogmodel egentlig?
En sprogmodel er et computerprogram, der har lært mønstre i sprog ved at blive vist enorme mængder tekst. Ordet »stor« henviser til, at modellen består af et meget stort antal indstillelige værdier, som ofte kaldes parametre. Du kan forestille dig dem som et astronomisk antal små skruer, der er blevet drejet på plads under træningen.
Det er vigtigt at forstå, hvad modellen ikke er. Den er ikke en database med færdige svar, og den slår ikke op i en opslagsbog, hver gang du stiller et spørgsmål. Den har i stedet en slags komprimeret fornemmelse for, hvordan sprog og viden typisk hænger sammen, og den bruger den fornemmelse til at skrive en tekst, der passer til din forespørgsel.
Det er den samme grundide, der bruges til mange forskellige opgaver. Oversættelse, opsummering, omskrivning og programmering er alle varianter af det samme: at fortsætte en tekst på en måde, der passer til det, der står før. Derfor kan den samme model både hjælpe med et brev til udlejeren og forklare en fejlmeddelelse. Den skifter ikke værktøj, den skifter bare, hvilken slags tekst den gætter videre på.
Træning: en gætteleg i kæmpeformat
Under grundtræningen får modellen tekst fra blandt andet bøger, hjemmesider, artikler og programkode. Præcis hvilke kilder en bestemt model er trænet på, varierer og er ikke altid offentligt kendt. Opgaven er til gengæld enkel at beskrive: skjul det næste stykke tekst, og lad modellen gætte, hvad der kommer. Gætter den forkert, bliver skruerne justeret en anelse, så et lignende gæt bliver bedre næste gang.
Den øvelse gentages et uhyrligt antal gange. Ingen skriver regler ind om dansk grammatik eller om, hvordan en mail til en kunde bør lyde. Den slags opstår som en bivirkning af at blive god til gættelegen. For at forudsige næste ord godt må modellen nemlig opfange en hel masse: grammatik, tonefald, almindelige fakta og sammenhængen mellem sætninger.
Efterbehandling gør den til en assistent
En model, der kun har gennemgået grundtræningen, er god til at fortsætte tekst, men ikke nødvendigvis til at besvare dit spørgsmål. Derfor trænes den typisk videre, så den opfører sig som en hjælpsom samtalepartner, følger instruktioner og afviser visse typer forespørgsler. Her spiller mennesker ofte en rolle, for eksempel ved at vurdere, hvilke af flere mulige svar der er bedst.
Tokens: modellen læser ikke, som du gør
Modellen arbejder ikke med hele ord eller enkelte bogstaver, men med tokens. En token er en tekststump, der kan være et helt ord, en del af et ord eller et tegn som et komma. Korte, almindelige ord er ofte én token, mens lange eller sjældne ord bliver skåret i flere stykker. Det gælder også de sammensatte ord, som dansk er så rig på.
Tokens har to praktiske konsekvenser. For det første kan modellen kun holde styr på en begrænset mængde tekst ad gangen, ofte kaldet kontekstvinduet. Bliver en samtale meget lang, kan begyndelsen falde ud af syne. For det andet forklarer tokens, hvorfor modeller kan snuble over opgaver, der virker banale for os, som at tælle bogstaver i et ord. De ser ikke bogstaverne, men stumperne.
Sandsynlighed: sådan vælges næste ord
Når du sender en besked, regner modellen ud, hvor sandsynligt det er, at hver eneste mulige token kommer næste gang. Efter »Kaffen er« ligger »varm« højt på listen, »kold« lidt lavere og »fiolet« meget langt nede. Modellen vælger en token, sætter den på, og så starter hele processen forfra med den nye tekst som udgangspunkt. Derfor ser du ofte svaret dukke op lidt ad gangen.
Modellen vælger ikke altid den mest sandsynlige token. Der er indbygget en vis tilfældighed, som udviklerne kan skrue op og ned for. Det er grunden til, at du kan stille det samme spørgsmål to gange og få to forskellige formuleringer. Det gør svarene mere levende, men også mindre forudsigelige.
Om det her kan kaldes forståelse, er en åben diskussion. Selv forskere kan ikke altid pege på, præcis hvad en model har lært, og hvor det ligger gemt. Det, vi kan sige, er, at resultatet ofte er overbevisende, og at metoden bag er statistisk snarere end faktatjekkende.
Hvorfor opfinder de af og til ting?
Den slags fejl kaldes ofte hallucinationer. Forklaringen ligger i opskriften: en sprogmodel er bygget til at skrive sandsynlig tekst, ikke til at kontrollere, om teksten er sand. Spørger du om noget, modellen har set meget til, rammer den ofte rigtigt. Spørger du om noget sjældent, kan den alligevel producere et svar, der lyder rigtigt, fordi tonen og formen passer. Typiske eksempler er opdigtede kildehenvisninger, forkerte årstal og personer, der får tillagt udtalelser, de aldrig er fremkommet med.
Risikoen er størst ved nicheemner, ved spørgsmål med en falsk forudsætning, ved begivenheder efter træningens afslutning og ved lange udregninger. Nogle tjenester kobler modellen til en søgning eller til dine egne dokumenter, så den har noget at støtte sig til. Det hjælper, men det fjerner ikke fejlene helt.
Sådan bruger du dem klogt
Når du kender mekanikken, bliver reglerne ret naturlige:
- Brug modellen til udkast, omformuleringer, idéer og forklaringer, hvor du selv kan vurdere resultatet.
- Tjek tal, navne, datoer og kilder, før du bruger dem.
- Giv modellen den tekst, den skal arbejde med, frem for at bede den huske det.
- Stil præcise spørgsmål, og bed den eksplicit om at sige til, når den er i tvivl.
- Læs, hvordan tjenesten behandler dine data, før du indtaster noget følsomt.
Hvad betyder det for dig?
En sprogmodel er hverken et orakel eller et trick. Den er et værktøj, der er enestående til at producere flydende tekst, og som af samme grund også kan producere flydende vrøvl. Det er ikke en fejl, der bare lige skal rettes. Det er en følge af, hvordan teknologien er bygget.
Behandl svaret som et godt bud fra en hurtig, velformuleret kollega, der ikke altid husker præcist. Så får du det meste ud af værktøjet uden at lade dig overraske af de fejl, der med sikkerhed kommer.
