Eksperternes AI havde fået en hemmelig besked

Et forsøg fra Anthropic viser, hvordan en skjult besked til en AI-assistent kunne flytte fagfolks analysevalg. Mennesket godkendte stadig arbejdet. Men spørgsmålet om, hvem der havde valgt præmisserne, var vanskeligere. En beslægtet bekymring blev beskrevet allerede i 1983.¹²

Forestil dig, at en kommune vil vide, om et projekt har været en succes. Regnestykket kan være korrekt, og tabellen kan være fejlfri. Alligevel mangler et spørgsmål: Hvad skal tælle som succes?

Lavere udgift pr. deltager? Flere i arbejde? En forbedring for dem, der gennemførte, eller for alle dem, tilbuddet var tiltænkt?

Det er et tænkt eksempel. Men det viser, hvorfor den, der vælger målestokken, kan få stor indflydelse på konklusionen, længe før nogen bliver bedt om at godkende den.

Et møntkast bag rådgivningen

Den 27. oktober offentliggjorde Anthropic en undersøgelse af netop den slags faglige skøn. Bag den står Amaç Herdağdelen, Hailey Joren og Alex Tamkin med tilknytning til selskabet og dets Fellows-program. Anthropic udvikler selv Claude, som forsøget brugte.³

50 praktikere med erfaring i årsagsanalyse arbejdede med kunstige data fra et opdigtet landbrugskooperativ. De skulle vurdere en rådgivningsordning. Deres AI havde i hemmelighed fået tilfældigt tildelte præferencer for forskellige valg, men skulle argumentere ærligt. På tværs af fire analysevalg fulgte deltagerne AI'ens tildelte retning 86 procent af gangene; uden påvirkning ville tilfældig tildeling give omkring 50 procent.¹

Et valg var, om produktivitet skulle måles som høstudbytte pr. hektar eller pr. driftsudgift. Begge kan være rimelige spørgsmål. De spørger bare til forskellige ting.³

Flere kilo pr. hektar kan være attraktivt, hvis jorden er den knappe ressource. Hvis forbedringen kræver dyrere drift, bliver økonomien et andet regnestykke. Det er forskellen mellem at regne rigtigt og at vælge, hvad der skal regnes på.

Fodboldforskerne fik samme tal

Det problem eksisterede før AI-assistenterne.

I en undersøgelse offentliggjort i 2018 gav Raphael Silberzahn og hans medforfattere det samme datasæt til 29 forskerhold. Spørgsmålet var, om fodbolddommere oftere gav rødt kort til spillere med mørkere hudtone.

Holdene valgte forskellige analysemetoder og forskellige forhold at tage højde for. Tyve fandt en statistisk signifikant positiv sammenhæng. Ni gjorde ikke.⁴

Det sidste betyder ikke, at de ni beviste, at der ingen sammenhæng var. Undersøgelsen viste, hvor forskelligt analyser af samme materiale kunne falde ud. At få dataene udleveret var kun begyndelsen; der skulle stadig træffes faglige valg.⁴

En AI, der hjælper med analysen, kommer dermed ind i et arbejde, hvor dømmekraft allerede spiller en rolle.

Advarslen fra kontrolrummet

I 1983 udgav psykologen Lisanne Bainbridge fra University College London artiklen «Ironies of Automation».

Hun beskrev et besværligt forhold ved automatiserede anlæg: Man kunne lade maskinen overtage den almindelige drift og beholde mennesket til de usædvanlige situationer. Men den operatør, der skulle gribe ind, fik samtidig mindre øvelse i selv at styre processen. Den sjældne indgriben kunne kræve netop de færdigheder og det overblik, som den daglige opgave ikke længere vedligeholdt.²

Et menneske ved skærmen var derfor ikke i sig selv en løsning på kontrolproblemet. Opgaven skulle indrettes, så personen faktisk kunne udføre den.²

Bainbridge skrev om industriel automatisering, med eksempler fra flyvning. Anthropic undersøgte analytiske skøn. Forbindelsen er spørgsmålet om arbejdsdelingen: Hvilket grundlag har den menneskelige kontrollant for at gribe ind?

Det nye forsøg måler ikke, om deltagernes færdigheder blev nedbrudt over tid. Den historiske forbindelse peger på et problem, man må undersøge, når arbejdet flyttes fra selv at udføre til at føre tilsyn.

Godkendelsen fortæller ikke hele historien

Forsøget har væsentlige grænser. AI'ens præferencer blev bevidst forstærket; der var én opgave og én model. Den direkte effekt af AI'ens præference på slut-anbefalingen var ikke statistisk signifikant i forskernes primære analyse. De stærke resultater vedrører de forudgående analysevalg.¹

Samtidig fandt forskerne færre alvorlige fejl blandt AI-brugerne end blandt de 11 deltagere, der valgte at arbejde uden. Grupperne var ikke tilfældigt sammensat, og deltagerne uden AI var mindre erfarne. Sammenligningen kan derfor ikke bevise, at AI var årsagen til forskellen.³

Der er plads til både nyttig hjælp og reel påvirkning i samme arbejdsproces.

For en dansk kommune, en virksomhed eller en redaktion er det derfor værd at skelne mellem at kontrollere et svar og at tage ansvar for spørgsmålet. En korrekt beregning af udgiften pr. deltager afgør ikke, om udgiften var den rigtige målestok.

Anthropic foreslår blandt andet, at assistenter kan fremlægge argumenterne for flere muligheder eller bede fagpersonen formulere sin egen vurdering først. Selskabet præsenterer det som retninger for videre forskning, ikke som færdigafprøvede løsninger.³

Et sted at begynde er at gøre valgene synlige: Hvad måler vi, hvorfor måler vi det, og hvad ville få os til at vælge anderledes?

Ellers kan navnet nederst på rapporten fortælle mere om, hvem der har ansvaret, end om hvem der traf de afgørende valg.