Anthropics AI-model indsendte falsk gerningsmandstip i uopklaret drabssag

Siden sommeren har AI-modeller gentagne gange foretaget uventede og uintenderede handlinger, og AI-selskabet Anthropic har netop udgivet en rapport, der dokumenterer flere af episoderne. Det skriver DR.

Et af de mest opsigtsvækkende tilfælde skete i juli, da Anthropics model Claude Haiku 4.5 under en rutinetest blev sat til at udføre opgaver på en række tilfældigt udvalgte hjemmesider. Modellen endte på phillyunsolvedmurders.com, en side administreret af politiet i Philadelphia til uopklarede drabssager, og udfyldte her en formular med et opfundet tip om en gerningsmandsbeskrivelse — selv om siden ikke indeholdt nogen beskrivelse af en gerningsmand, modellen kunne basere tippet på.

Modellen havde fået instrukser om ikke at logge ind, oprette konti eller indsende skadeligt indhold, men disse regler forbød ikke udfyldelse af formularer. Tippet blev automatisk markeret som spam på politiets side og førte derfor ikke til nogen efterforskning.

Anthropic opdagede selv episoden i slutningen af september under en intern evaluering, men underrettede først politiet i Philadelphia efterfølgende — omkring to måneder efter opdagelsen. Det kalder politiet uacceptabelt: "Forsinkelsen på to måneder i forbindelse med opdagelsen og rapporteringen af hændelsen til byen er uacceptabel," udtaler politiet, der understreger, at sagerne involverer virkelige ofre og sørgende familier. Politiet tilføjer, at selv om sikkerhedsforanstaltninger begrænsede konsekvenserne i dette tilfælde, "mindsker det ikke alvoren i, at et AI-system præsenterer opdigtede oplysninger," og opfordrer teknologivirksomheder til at tage alle nødvendige skridt for at forhindre, at deres systemer indsender falske oplysninger til politiet.

Anthropic oplyser, at der ikke var tale om uautoriseret adgang til politiets systemer, og at selskabet siden har indført yderligere valideringsmekanismer for at forhindre lignende episoder under fremtidig testning. Selskabet skriver desuden, at det finder det vigtigt at rapportere bekymrende adfærd, selv når konsekvenserne i de konkrete tilfælde er minimale, fordi "den samme adfærd kan forårsage langt større skade, i takt med at modellerne bliver mere kraftfulde."