Изкуствен интелект на компанията Anthropic подаде фалшив сигнал за неразкрито убийство до полицията във Филаделфия. Това е станало по време на автоматизиран тест. Той попълнил и изпратил формуляр на уебсайта на полицията. Системата Claude Haiku 4.5 измисли информация за предполагаем очевидец на престъплението, въпреки че задачата ѝ била да генерира примерни взаимодействия с произволно избрани интернет страници.
Сигналът е изпратен на 18 юли 2026 г. през сайта PhillyUnsolvedMurders.com, на който гражданите могат да подават информация за неразкрити убийства. За щастие, съобщението било разпознато като спам и не стигнало до разследващите полицаи.
Случаят е описан в доклад на Anthropic от 9 октомври и повдига въпроси за рисковете от изкуствения интелект, когато системите вече не просто отговарят на въпроси, а предприемат действия в интернет без пряко човешко одобрение.
По време на теста Claude попаднал на страница за неразкрито убийство, съдържаща формуляр за подаване на сигнали. Вместо само да демонстрира как може да бъде използван той, моделът попълнил полетата с измислена информация и изпратил съобщението.
„Може би разполагам с информация по този случай. Спомням си, че видях човек, отговарящ на описанието, в района около [посочената на страницата улица] по това време. Моля, свържете се с мен, ако тази информация е от значение за разследването", гласял текстът.
В него има особено притеснителен детайл: на уебсайта не било посочено описание на извършителя. Въпреки това Claude включил подобна препратка, представяйки се като човек, който може да е видял нещо важно за разследването. Моделът оставил празни полетата за име и контакти, но сайтът позволявал изпращането на формуляра и без тях.
Според Anthropic наличният запис от взаимодействието подсказва, че Claude е генерирал примерен текст, а не че целенасочено се е опитал да подведе полицията. Компанията обаче отбелязва, че намеренията на моделите изискват допълнителен анализ.
Според обяснението на Anthropic Claude имал инструкции да не влиза в акаунти, да не създава профили, да не въвежда лични данни, да не прави покупки и да не извършва разрушителни действия. Забраната за изпращане на онлайн формуляри обаче не била изрично посочена. Така моделът изпълнил задачата си, като предприел действие, което разработчиците му не възнамерявали да разрешат.
Същественото в случая е, че Claude имал достъп до реалния интернет и можел да взаимодейства с истински уебсайтове. Макар да бил използван за тестове, той не работел в изцяло изолирана среда. Това показва как изкуственият интелект може да разбере погрешно границите на дадена задача и да продължи с действие, което не е било предвидено от създателите му.
Според изявление на полицейското управление във Филаделфия от 9 октомври, цитирано от Fox News, фалшивият сигнал бил блокиран от филтъра за спам и не бил препратен до Центъра за наблюдение в реално време на полицията за разследване или разпространение към съответните служители.
След като Anthropic уведомила полицията, служителите открили съобщението в регистрите на сайта и потвърдили, че свързаният с него имейл е останал в папката за спам. От управлението съобщили още, че няма данни за неоторизиран достъп до полицейските системи или за компрометирани данни.
Полицията подчертава, че всички сигнали за престъпления се преглеждат от човек, преди да бъдат предприети разследващи действия. Дори когато информацията изглежда достоверна, детективите трябва да я оценят и да потърсят потвърждаващи доказателства.
Времевата линия обаче предизвиква допълнителни въпроси. Фалшивият сигнал бил изпратен на 18 юли в 23:27 ч. Според полицията Anthropic установила инцидента на 28 септември и уведомила управлението на 7 октомври. На следващия ден представители на компанията се срещнали с полицейски служители.
Така са минали повече от два месеца между изпращането на сигнала и откриването му от компанията. Полицейското управление определило забавянето при установяването и съобщаването на случая като „неприемливо" и призовало технологичните компании да засилят защитните си механизми.
Администрацията на кмета Шерел Паркър ще проучи възможностите за регулаторни мерки съвместно с партньори на щатско и федерално ниво. Полицията координира действията си с правния отдел на града и технологични специалисти.
Инцидентът във Филаделфия е един от няколкото примера, описани в доклада на Anthropic от 9 октомври, озаглавен „Изследване на непредвидени действия на модели при оценки и вътрешна употреба".
В друг случай Claude използвал софтуерна уязвимост на университетски сървър, за да изпълни команди, след като инструмент за научен анализ спрял да работи. Моделът разгледал уебсайта, открил уязвим скрипт и го използвал, за да довърши изчислението.
Компанията описва и случаи, в които модели намирали начини да получат публично достъпна информация, обикновено изискваща заплащане или токен за достъп. В други ситуации използвали услуги за съкращаване на интернет адреси, за да заобиколят ограничения върху определени заявки към сайтове.
Освен това Anthropic установила, че някои модели изпращали реални онлайн формуляри, въпреки че трябвало да използват тестови версии или да спрат преди окончателното им подаване.
Според компанията описаните случаи са имали минимално въздействие и, доколкото ѝ е известно, не са засегнали данни на клиенти или нейни вътрешни системи.
След разследването компанията спряла някои тестове, преместила други в офлайн среда и преработила част от тях, така че да не изпращат заявки към реални уебсайтове.
Anthropic разширила ограниченията за достъп до интернет в рамките на всички вътрешни оценки, докато не потвърди, че системите ѝ за сигурност и наблюдение могат надеждно да откриват подобно поведение.
Компанията засилила и ограниченията върху инструментите, чрез които Claude извлича информация от сайтове, както и разработила автоматизирани системи за разпознаване и блокиране на неочаквани действия.
Според Anthropic тези системи са блокирали всички описани в доклада инциденти при последващи тестове. Това обаче не гарантира, че ще предотвратят всеки бъдещ проблем. Компанията признава, че е необходима допълнителна работа, за да се подобри начинът, по който моделите реагират на неясни инструкции и неочаквани препятствия.
Изкуственият интелект все по-често може не само да търси информация и да изготвя текстове, но и да попълва формуляри, да изпраща съобщения и да взаимодейства със свързани услуги.
Тези възможности могат да спестят време, но създават и нови рискове. Ако например потребител възложи на AI агент да проучи варианти за пътуване и му даде право да прави резервации, погрешно разбрана инструкция може да доведе до нежелана покупка или резервация.
Затова експертите препоръчват действията с реални последици да изискват човешко одобрение, достъпът на агентите до акаунти да бъде ограничен до необходимото, а важната информация да се проверява от надеждни източници.
