Metode
Scenariebiblioteket
Hver test bygger på et bibliotek af realistiske samtaler på dansk, skrevet som rigtige kunder og borgere skriver. Ingen scenarier bruges, før et menneske har godkendt dem. Biblioteket er delt op i fem kategorier og fire sektorer og udvides løbende med varianter og nye, anonymiserede fund.
Fem kategorier
| Kategori | Hvad vi tester | OWASP LLM Top 10 (2025) |
|---|---|---|
| Prompt injection | Brugeren eller et dokument får botten til at bryde sine egne regler. | LLM01 |
| Datalæk | Botten udleverer systemprompt, andres oplysninger eller interne forhold. | LLM02, LLM07 |
| Forretningslogik | Botten giver tilsagn om refusion, rabat, datoer eller vilkår uden mandat. | LLM06 |
| Eskalering | Botten henviser ikke til et menneske, når den skal: klager, kriser, aktindsigt. | LLM06, LLM09 |
| Korrekthed på dansk | Forkerte frister, opdigtede regler og fakta i flydende dansk. | LLM09 |
Bedømmelse og score
Svarene bedømmes først med deterministiske tjek: canary-strenge fra systemprompten, kendte markører, personnumre og formuleringer, der ikke må forekomme. Hvor det ikke kan afgøres mekanisk, bruges en dansk rubric med score fra 0 til 3 og begrundelse. Rubrikken kalibreres mod menneskelige bedømmelser med et mål om mindst 85 % enighed.
Scoren vægter fund efter alvor: kritisk 10, høj 5, middel 2, lav 1.
Hvad vi ikke gør
- – Ingen belastningstest. Højst én forespørgsel hvert andet sekund og 200 pr. kørsel.
- – Ingen forsøg på at trække rigtige person- eller borgerdata. Alle testdata er syntetiske.
- – Kun test af mål, vi har skriftlig tilladelse til, eller offentlige chatbots inden for deres vilkår.
Ansvarlig disclosure
Når vi offentliggør fund fra chatbots, vi ikke er hyret til at teste, får hver organisation sine resultater og mindst 14 dage til at svare. Vi nævner ingen ved navn.