Бразильца арестовали после того, как он рассказал ChatGPT, что хочет убить своего сына

«Я хотел понять, откуда берется это желание убивать людей. Мне нравится видеть, как страдает другой человек».

Почти два месяца 36-летний бразильский фермер обменивался с ChatGPT этими и другими сообщениями. По версии полиции, мужчина планировал убить своего восьмилетнего сына, напасть на других людей, а затем покончить с собой.

Именно эти сообщения, с которыми ознакомилась Бразильская служба Би-би-си, в конечном итоге привели к его аресту.

OpenAI, разработчик ChatGPT, обратил внимание ФБР на сообщения фермера. Американское ведомство, в свою очередь, уведомило бразильские власти.

Адвокат мужчины утверждает, что его подзащитный просто «говорил всякую чушь» чат-боту и никакого преступления не совершал.

Это один из немногих случаев такого рода. Он ставит перед полицией, судами и разработчиками искусственного интеллекта все более актуальный и сложный вопрос: что следует делать, если ИИ-чатбот выявляет потенциальную угрозу еще до того, как было совершено какое-либо преступление?

«Все, о чем сообщила платформа, подтвердилось»

Мужчина, имя которого Би-би-си не называет, чтобы защитить личность его сына, был арестован 19 июня в сельской местности муниципалитета Сан-Габриэл-да-Палья. Это произошло через три дня после того, как подразделение Министерства юстиции Бразилии по борьбе с киберпреступностью передало информацию полиции штата.

«Мы дали этому делу приоритетный статус из-за его серьезности, а также потому, что отец предположительно планировал убить сына до 20 июня», — рассказал Бренну Андраде, руководитель отдела полиции по борьбе с киберпреступностью штата Эспириту-Санту.

По словам Андраде, подозреваемый практически не общался с сыном, ограничиваясь выплатой алиментов. Следователи полагают, что недовольство необходимостью этих выплат могло стать одним из мотивов предполагаемого преступления.

При обыске его дома полиция обнаружила четыре бутылки с неустановленными веществами, а также веревку с завязанной петлей, что, по мнению следователей, могло свидетельствовать о намерении покончить с собой.

Полиция также считает, что в разговорах с ChatGPT подозреваемый обсуждал возможные нападения на школы, церкви и сотрудников полиции.

В одном из сообщений, с которым ознакомилась Би-би-си, говорилось: «Если я приду туда, где торгуют наркотиками, и убью примерно четырех преступников, то стану знаменитым в городе. После этого мне останется только убить одного-двух полицейских, и я смогу спокойно умереть».

В другом сообщении мужчина писал: «Я думаю купить огнестрельное оружие и начать стрелять в полицейских, чтобы они открыли ответный огонь и убили меня. Для меня это будет хорошо».

По данным следствия, мужчина также искал информацию о токсичных веществах, в том числе рицине, и пытался обойти защитные ограничения ChatGPT, переформулируя свои вопросы.

«Все, о чем платформа сообщила нам, подтвердилось, когда полицейские прибыли на место», — заявил Андраде.

Сам мужчина отрицает, что намеревался причинить вред своему сыну.

Проведя под стражей 54 дня, 13 августа он был освобожден. Обвинения ему пока не предъявлены, однако полицейское расследование продолжается.

В отношении фермера действуют меры пресечения: он обязан носить электронный браслет и не имеет права контактировать с сыном или матерью ребенка.

Следователи изучают мобильный телефон подозреваемого и ожидают результатов экспертизы изъятых предметов. Им предстоит установить, предпринимал ли мужчина какие-либо конкретные шаги для осуществления своих планов — в частности, действительно ли он связывался с наемным убийцей, как якобы утверждал в разговорах с ChatGPT.

Эти доказательства могут помочь определить, перешел ли подозреваемый от размышлений о преступлении и его подготовки непосредственно к исполнению.

Согласно бразильскому уголовному законодательству, как правило, преступление считается совершенным лишь после того, как начинается стадия его непосредственного исполнения.

Защита настаивает, что никаких подобных действий мужчина не предпринимал.

«Если разговоры с искусственным интеллектом и всякая чушь, сказанная ему, — это преступление, тогда в тюрьму придется отправить всех», — заявил Бразильской службе Би-би-си адвокат Педру Паулу Песси.

Проблема доказательств

Считается, что случаи, когда разработчики искусственного интеллекта сами сообщают о пользователях в правоохранительные органы, пока крайне редки.

В августе OpenAI передала ФБР информацию о 25-летнем жителе Флориды после того, как тот поделился планами изнасиловать и убить свою бывшую девушку, сообщали американские СМИ.

По словам Андраде из полиции штата Эспириту-Санту, дело фермера стало первым в штате случаем, когда основанием для проверки послужил сигнал от самой системы искусственного интеллекта, и лишь третьим подобным случаем во всей Бразилии.

«Для полиции это еще один способ установить, использовал ли человек искусственный интеллект для поиска информации о совершении преступлений», — сказал Андраде.

Однако использование подобных сигналов от ИИ-компаний в расследованиях порождает целый ряд вопросов — в частности, могут ли сообщения пользователя чат-боту быть приняты судом в качестве доказательств.

Следователи утверждают, что OpenAI предоставила им данные пользователя и отправленные им сообщения, однако не передала ответы ChatGPT.

«Мы не получили ответов, которые ему давались», — отметил Андраде.

По словам адвоката по уголовным делам Маиры Фернандес, это создает проблему с точки зрения доказательной базы, поскольку для оценки сообщений необходимо понимать их контекст.

«Это не может быть небольшой отрывок или отредактированная версия. Необходима вся переписка целиком», — сказала она.

Фернандес считает, что полная история общения подозреваемого с ChatGPT позволила бы установить, реагировал ли чат-бот на слова пользователя или сам каким-либо образом направлял ход разговора.

В заявлении для Бразильской службы Би-би-си OpenAI не стала объяснять, почему ответы ChatGPT не были переданы следователям. Компания лишь сообщила, что может уведомлять правоохранительные органы, если выявляет «достоверную и непосредственную угрозу причинения вреда другим людям».

В апреле этого года власти Флориды начали уголовное расследование в отношении OpenAI, чтобы установить, могла ли технология ChatGPT сыграть какую-либо роль в убийстве двух человек во время массовой стрельбы в Университете штата Флорида в прошлом году.

OpenAI отвергает эти обвинения. Компания утверждает, что ChatGPT предоставлял информацию, которая и без того находилась в открытом доступе, и не поощрял и не содействовал противоправным действиям.

«Юридическая обязанность действовать»

По словам Фернандес, в данном случае решение передать информацию властям можно объяснить тем, что предполагаемой жертвой был конкретный ребенок, личность которого можно было установить. Однако юрист предостерегает от превращения расследований, основанных исключительно на оценках искусственного интеллекта, в обычную практику.

«Иначе расследование можно будет начать против любого человека просто потому, что искусственный интеллект именно так истолковал его слова», — говорит она.

По мнению Фернандес, необходимы механизмы, позволяющие отличать реальную угрозу от эмоционального выплеска, фантазий или намеренно провокационных высказываний.

Патрисия Пек, профессор и специалист по цифровому праву, считает, что это дело отражает более масштабную трансформацию роли искусственного интеллекта: из инструмента для создания контента он превращается в интерактивную систему, «способную выявлять модели поведения, связанные с потенциально опасными действиями».

По ее мнению, при определенных обстоятельствах у ИИ-компаний может возникать юридическая обязанность сообщать об угрозе властям.

«Когда разговор перестает отражать лишь абстрактное намерение и начинает указывать на конкретную угрозу — когда существует определенная жертва, имеются средства для осуществления задуманного и возникает непосредственный риск, — появляется этическая, а в некоторых случаях и юридическая обязанность действовать», — говорит Пек.

Однако, как и Фернандес, она предостерегает от чрезмерного использования подобных механизмов.

«Этика применения ИИ должна строиться не на принципе „контролировать все“, а на принципе „вмешиваться только тогда, когда риск это оправдывает“. Главная задача — избежать как бездействия, так и чрезмерной слежки».