Wniosek o grant trafił do Claude, filtr bezpieczeństwa go wykrył i odrzucił. Kilka dni później ten sam operator wrócił, a odrzucone zapytania trafiały ponoć do konkurencyjnego modelu AI.
Anthropic opublikowało tę historię o sobie, ujawniając przypadek, w którym firma AI wskazuje, że jej własne modele zetknęły się z potencjalną pracą nad bronią biologiczną.
Grant, który został zablokowany
Wniosek dotyczył środków na badanie chikungunyi, wirusa przenoszonego przez komary, który powoduje miesiące bólu i nie ma na niego lekarstwa. Plan zakładał ułatwienie rozprzestrzeniania wirusa i unikanie układu odpornościowego. Napisali go naukowcy cywilni. Prace miały odbywać się w instytucie wojskowym.
Każda wymiana informacji była blokowana, ale pojawiło się obejście. Usługa obsługująca tych naukowców stworzyła rezerwowe rozwiązanie na konkurencyjnym modelu. Claude pomógł napisać ten kod. Przedstawiono to jako sposób na ominięcie zbyt częstych odmów.
Pięć przypadków, brak dowodów na zamiar
Raport ma 154 strony i opisuje pięć przypadków biologicznych. Anthropic zbanowało te konta, nie ujawniło laboratoriów, ale nie postawiło oczekiwanych zarzutów.
Nie twierdzimy, że mieli oni złe zamiary, a identyfikacja ich lub ich laboratoriów mogłaby narazić ich na niebezpieczeństwo.
Warto zauważyć, że filtry czasem działały poprawnie. Naukowiec badający ptasią grypę został przeniesiony do słabszych modeli i Anthropic uznaje tę pomoc za głównie techniczną.
Anthropic – przypadki pracy nad bronią biologiczną w liczbach
| Liczba | Co oznacza |
|---|---|
| 154 | Strony raportu |
| 5 | Opublikowane przypadki biologiczne |
| 35 | Wysiłki badawcze wykryte w 30-dniowym przeglądzie powiązanych z państwem instytucji |
| 1 godzina | Czas, w którym użytkownik napisał wniosek o grant na temat ospy w rodzinie Opus 5 |
Śledź nas w serwisie X, aby otrzymywać najnowsze wiadomości na bieżąco
To, co powinno niepokoić
Większość z tych 35 przypadków to zwykła nauka cywilna. Właśnie tu leży problem. Ta sama wiedza pomaga opracować szczepionkę lub broń, a filtr nie czyta umysłu.
Klasyfikator nie może jednocześnie umożliwiać korzyści i zapobiegać szkodzie.
Już wcześniej testowano jego ograniczenia. W kwietniu grupa na Discordzie uzyskała dostęp do ograniczonego modelu już pierwszego dnia.
Na tle narastających obaw Waszyngton reaguje. Reprezentanci Ted Lieu i Nathaniel Moran w lipcu złożyli ustawę AI Kill Switch Act. Nakłada ona na twórców obowiązek zachowania możliwości wyłączenia swoich systemów.
Ten sam raport zbanował także klientów, którzy użyli Claude do śledzenia dysydentów.
