Kan du stole på AI-svaret? Sådan faktatjekker du det

Du har bedt et AI-værktøj om et overblik over reglerne på et område, du ikke selv er ekspert i. Svaret kommer på tolv sekunder. Det er velskrevet, det er struktureret, og det henviser til to bekendtgørelser og en vejledning. Du skal bruge det i et notat, der skal op i morgen.

Spørgsmålet er nu det eneste, der betyder noget: passer det?

Sprogmodeller er ikke opslagsværker. De forudsiger, hvilken tekst der sandsynligvis følger efter den, du har skrevet. Det gør dem gode til formuleringer og til at holde en struktur — og det gør dem i stand til at skrive en henvisning, der ser helt rigtig ud, til en vejledning, der ikke findes. Her er en arbejdsgang, der fanger de fejl, før de havner i dit notat.

Derfor lyder det forkerte svar lige så sikkert som det rigtige

Mennesker sender signaler, når de er usikre. Vi tøver, vi tager forbehold, vi siger "jeg tror". En sprogmodel har ingen indre fornemmelse af, om den ved noget. Den producerer den mest sandsynlige tekst, og sandsynlig tekst er velformuleret tekst — også når indholdet er opdigtet.

Det er en vigtig pointe, fordi vores almindelige bedømmelse af troværdighed bygger på sprog. Vi stoler mere på den, der taler flydende og præcist. Den refleks virker imod dig her, og du kan ikke træne dig ud af den. Du kan kun sætte en arbejdsgang ind i stedet.

De fem typer fejl, du skal kigge efter

Fejlene er ikke tilfældige. De falder i genkendelige kategorier, og når du kender dem, går tjekket hurtigt:

• Opdigtede kilder. Paragraffer, rapporttitler, forfattere og årstal, der ser korrekte ud, men ikke findes. Den hyppigste og farligste fejltype.
• Tal, der er tæt på. Et beløb, en procentsats eller en frist, der ligger plausibelt, men er forkert. De er svære at opdage, netop fordi de ikke virker absurde.
• Forældet viden. Modellen kender verden frem til et bestemt tidspunkt. Regler, priser, organisationsnavne og personer kan have ændret sig siden.
• Det udeladte forbehold. Svaret er rigtigt i hovedreglen og forkert i den undtagelse, der lige gælder din situation.
• Den opfundne sammenhæng. To rigtige oplysninger bindes sammen med en årsagsforklaring, ingen har fremsat.

Bemærk, at de tre første kan fanges med et opslag. De to sidste kan kun fanges af en, der kender fagområdet. Det er grænsen for, hvad et tjek kan klare — og grunden til, at AI ikke fjerner behovet for faglighed.

Tjekket, der tager to minutter

Du behøver ikke efterprøve hvert ord. Du skal efterprøve det, der bærer konklusionen.

1. Marker påstandene. Gå teksten igennem og streg under alt med et tal, et årstal, et navn, en paragraf eller et "skal".
2. Slå kilderne op — i kilden. Ikke ved at spørge modellen igen. Find bekendtgørelsen, rapporten eller siden selv. Kan du ikke finde den på to søgninger, findes den sandsynligvis ikke.
3. Tjek datoen. Er oplysningen fra i år? Fra sidste år? Er der kommet noget nyt siden?
4. Spørg en, der ved det. For de to sidste fejltyper er en kollega med fagligheden hurtigere end nogen søgning.
5. Skriv det om med dine egne ord. Kan du ikke forklare påstanden uden at læne dig op ad modellens formulering, har du ikke forstået den godt nok til at stå på mål for den.

Det sidste punkt er det bedste enkeltstående filter, der findes. Hvis du kan gengive indholdet frit, har du forstået det. Hvis du kun kan kopiere det, har du ikke.

Bed om noget, der er nemmere at tjekke

Du kan gøre efterprøvningen lettere allerede i måden, du spørger på.

Bed om, at modellen adskiller det sikre fra det usikre. Bed om, at den skriver, hvad den ikke ved. Bed om links frem for titler, fordi et link enten virker eller ikke virker, mens en titel kan være halvrigtig. Og giv den materialet selv, når du har det — en model, der opsummerer et dokument, du har vedhæftet, laver markant færre opfindelser end en, der skal hente viden frem fra hukommelsen.

Netop den forskel er værd at forstå til bunds, hvis du bruger AI i Microsoft 365. Værktøjer som Copilot arbejder ofte oven på jeres egne dokumenter og mails, og det ændrer både kvaliteten af svarene og hvad du skal kigge efter i dem.

Modargumentet: "Så sparer jeg jo ikke tid"

Det er en rimelig indvending, og den holder nogle gange. Hvis du bruger lige så lang tid på at tjekke, som du ville have brugt på at skrive selv, har du ikke vundet noget.

Men det er sjældent regnestykket. Modellen er hurtigst til struktur, formuleringer, udkast, opsummeringer og til at komme i gang — og alt det kræver ingen faktatjek. Den er langsomst, når den skal levere facts, du ikke selv kan vurdere. Fordelingen af opgaver følger den linje: lad den skrive, og lad den ikke huske.

Et forløb som AI i praksis bruger en god del tid på netop den sortering, fordi det er den, der afgør, om AI bliver en gevinst eller en ekstra arbejdsgang.

Sådan kommer du i gang

Start med at lave din egen fejlsamling. Hver gang du fanger en fejl i et AI-svar, så skriv den ned i to linjer: hvad påstanden var, og hvad det rigtige var.

Efter tyve stykker har du noget værdifuldt. Du kan se, hvilke af de fem fejltyper der rammer dig oftest, og du kan se, på hvilke emner modellen er upålidelig for netop dit arbejde. Den liste er langt mere brugbar end en generel advarsel om, at AI kan tage fejl.

Del den derefter med afdelingen. Et konkret eksempel på en opdigtet paragraf gør mere indtryk end en retningslinje, og det er den billigste form for oplæring, der findes.

Hvem hæfter, når fejlen slipper igennem

Det er værd at være helt klar på ansvaret, før diskussionen opstår i en konkret sag. Når et notat går ud af huset med dit navn på, er det dit. Ikke leverandørens, ikke værktøjets og ikke afdelingens. Den, der sender videre, har godkendt.

Det lyder hårdt, men det er faktisk den nemmeste regel at arbejde efter, fordi den fjerner al tvivl om, hvornår man skal tjekke. Man tjekker, inden man sender. Alternativet — at ansvaret fordeler sig et sted mellem bruger, indkøber og leverandør — fører til, at ingen tjekker noget.

I praksis betyder det, at I skal aftale, hvad der overhovedet må sendes videre uden gennemlæsning. Et internt mødereferat er én ting. Et svar til en borger, et tilbud til en kunde eller en indstilling til et udvalg er noget andet. Hos de fleste organisationer er den grænse aldrig blevet talt om, og så lander den tilfældigt hos den enkelte medarbejder på en travl torsdag.

Skriv grænsen ned. To linjer i en retningslinje er nok: her må du bruge AI uden gennemlæsning, og her skal et menneske altid se det først. Den beslutning tager ti minutter at træffe og sparer jer for en ubehagelig samtale senere.

Tillid, du kan begrunde

Målet er ikke mistillid til værktøjet. Målet er tillid, du kan gøre rede for: du ved, hvad du har tjekket, og du ved, hvad du ikke har tjekket.

Det er den samme faglighed, du bruger over for en leverandørrapport eller et notat fra en praktikant. Ingen af delene går videre uden læsning. AI ændrer ikke det princip — den gør bare, at der kommer flere udkast gennem din indbakke.

Vil du have hele holdet til at arbejde på den måde, er Artificial Intelligence et godt sted at begynde. Der er forskel på at kunne betjene et værktøj og at kunne vurdere, hvad der kommer ud af det.