AI’en gik ind i en anden models maskinrum

En sprogmodel blev bedt om at forbedre en anden. Den fandt en gentagelsesfejl og ændrede direkte i modellens vægte. Resultatet peger mod en ny måde at arbejde med AI på, men et andet forsøg viste også, hvor begrænset metoden endnu er.

Forskere tilknyttet MIT CSAIL beskriver i «Sparks of Weight-Space Programming», hvordan de lod OpenAI-modellen GPT-6 Astra undersøge og ændre vægtene i en mindre sprogmodel, Qwen3.5-0.8B. Formålet var at få den til at klare matematik bedre.¹

Den lille model havde et problem: Den kunne blive ved med at gentage sig selv og nåede derfor ofte aldrig frem til et svar. Forskerne beskriver, hvordan Astra fandt et mønster i vægtene, som hang sammen med gentagelserne, og ændrede 131.072 vægte. Det svarer til omkring 0,016 procent af modellens omtrent 800 millioner vægte.

Efter ændringen steg resultatet på matematiktesten MATH-500 fra 7,9 til 48,1 procent under forskernes testbetingelser. Det er en bemærkelsesværdig forskel. Men det betyder ikke nødvendigvis, at modellen lærte ny matematik. Forskernes forklaring er, at den oftere fik lov at afslutte svar, den i nogle tilfælde allerede kunne finde frem til.¹

Hvad er en vægt?

En sprogmodel indeholder et stort antal tal, der er blevet justeret under træning. Tallene kaldes vægte. De påvirker, hvordan information bevæger sig gennem netværket, og dermed hvilke svar modellen gør mere eller mindre sandsynlige.

En vægt er sjældent en lille sætning, der kan læses direkte. Modellens adfærd opstår gennem samspillet mellem mange tal. Derfor er det svært at finde én bestemt fejl og rette den uden at påvirke andet.

Normalt ændres vægtene gennem en træningsproces, hvor en algoritme bruger fejl og gradienter til at justere dem. Her fik en anden sprogmodel i stedet adgang til vægtene gennem et programmeringsmiljø og skulle selv finde en ændring. Den fik også øvelsesopgaver og mulighed for at afprøve målmodellen undervejs. Testopgaverne blev ifølge forskerne holdt uden for dens adgang.²

Det er forskellen på at justere efter en generel træningsprocedure og at bede en model undersøge en anden models indre og foreslå et indgreb. Det sidste gør ikke automatisk vægtene lette for mennesker at forstå, men det giver forskerne en ny måde at stille spørgsmål til dem på.

Da forsøget ikke virkede

Forskerne prøvede også at forbedre en mindre Gemma-model, som sjældent havde de samme gentagelsesproblemer. Her fandt Astra almindelige ræsonnementsfejl, og ændringerne gav ingen sikker forbedring på matematiktesten.³

Det er en vigtig begrænsning. En rettelse, der får en model ud af en løkke, er ikke det samme som en generel metode til at give enhver model nye evner. Forsøgene er tidlige resultater præsenteret i et forskningsindlæg; resultaterne skal undersøges og gentages af andre.

Fra sort boks til værksted

Direkte ændring af modelvægte er ikke opfundet med dette forsøg. Tidligere forskning har arbejdet med at ændre bestemte fakta og undersøgt, hvordan sådanne indgreb påvirker resten af modellen.⁴

Det nye spørgsmål er, om en almindelig avanceret sprogmodel kan hjælpe med at analysere og foretage ændringen frem for at bruge en specialbygget redigeringsmetode. Forskerne undersøgte også mindre netværk, blandt andet modeller til spil, men en vellykket ændring dér er ikke bevis for, at samme fremgangsmåde virker på alle store sprogmodeller.¹

Mulighederne er til at få øje på: Måske kan udviklere en dag rette bestemte fejl eller undersøge uønsket adfærd uden at træne en hel model igen. Men hver ændring rejser et nyt spørgsmål: Hvad skete der med alt det andet, modellen kunne?

En vægtændring kan også bruges til at manipulere en model. Det kræver adgang til vægtene eller systemet, hvor de kan ændres; en almindelig samtale med en lukket chatbot giver ikke i sig selv den adgang. Forskning i modelredigering har allerede undersøgt risikoen for skjulte ændringer.⁴

Forsøget viser derfor både en ny mulighed for vedligeholdelse og et behov for kontrol med, hvem der kan ændre en model, og hvordan ændringerne bliver testet. Den ene AI har fået lov at åbne den andens maskinrum. Nu skal vi lære at kontrollere, hvad den har skruet på.