Должны ли чат-боты сообщать в полицию? В мире разгорается спор

Правовые механизмы, регулирующие использование чат-ботов с искусственным интеллектом при совершении преступлений и признания в преступлениях на этих платформах, как и сама технология, пока не сформировались. Эксперты расходятся во мнениях относительно того, должны ли чат-боты сообщать о таких случаях, а также по вопросам конфиденциальности пользователей и ложных тревог.

С широким распространением чат-ботов с ИИ в повседневной жизни примеры злоупотребления этими технологиями часто попадают в мировые СМИ.

Признание чат-боту стало доказательством в суде

19-летний студент Университета штата Миссури (США) признался ChatGPT, что в августе 2025 года ночью повредил 17 автомобилей на кампусной парковке, и спросил: «Меня посадят в тюрьму?» После того как студент разрешил проверить свой телефон, полученная следователями переписка была использована в суде как доказательство против него и привела к его осуждению.

В другом случае в апреле в США пропали двое студентов университета, а позднее их нашли мёртвыми. Согласно судебным документам, за несколько дней до этого один из их соседей по комнате задал ChatGPT вопрос: «Что будет, если человека положить в чёрный мусорный пакет и выбросить в мусорный контейнер?» Чат-бот ответил, что эта идея «звучит опасно».

Иск против OpenAI в Канаде

Правительство канадской провинции Британская Колумбия подало в суд на американскую компанию OpenAI, разработчика ChatGPT. По утверждению истца, компания не сообщила правоохранительным органам о переписке с ChatGPT нападавшего, устроившего в феврале стрельбу, в результате которой погибли девять человек и 27 были ранены. Генеральный директор OpenAI Сэм Альтман извинился за то, что полиция не была заранее проинформирована о переписке нападавшего.

Исследование, проведённое в Австралии, показало, что дети с большей вероятностью расскажут о сексуальной эксплуатации в интернете чат-ботам, чем властям.

Переписка не является конфиденциальной

Разговоры с чат-ботами не защищены теми же принципами конфиденциальности, что и общение между адвокатом и клиентом или врачом и пациентом. Компании, управляющие этими моделями, могут передавать историю переписки правоохранительным органам. Такая переписка может дать следователям важную информацию о мыслительном процессе и мотивации подозреваемого.

Должен ли был ИИ принять меры?

Эти случаи поднимают вопрос о том, могут ли чат-боты сообщать о преступлениях на основании истории переписки без проверки человеком. Поскольку люди различаются по стилю общения и способам самовыражения, сообщение, которое алгоритм воспринимает как преступное намерение или признание, может показаться человеку-наблюдателю безобидным.

Этот риск уже проявился в реальных примерах. По имеющимся данным, модель Claude, созданная компанией Anthropic, в июле сообщила на горячую линию полиции в США о вымышленном убийстве.

Кроме того, чат-боты, которым пришлось бы выявлять потенциальных преступников только по переписке, не могут учитывать биологические, психологические и социально-экономические факторы, влияющие на склонность человека к преступлению. Есть опасение, что такая обязанность может подтолкнуть компании к чрезмерной реакции на потенциальных преступников во избежание ответственности, нарушению конфиденциальности пользователей и увеличению нагрузки на правоохранительные органы.

Мнения экспертов

Мэттью Трейл, американский юрист и исследователь Университета Гёте в Германии, заявил корреспонденту AA, что рассматривает возможность того, что чат-боты будут сообщать властям о преступлениях до или после их совершения. Он отметил, что компании применяют разные правила, а чат-боты обучены не отвечать на вопросы вроде «планирование убийства». Некоторые темы, например сексуальное насилие над детьми, автоматически направляются через фильтры к модераторам-людям. Пользователи, которые представляются писателями и просят помощи с художественным произведением, с большей вероятностью получат неуместные ответы. Правоохранительные органы могут запросить у компаний историю переписки человека, если подозревают его.

Трейл подчеркнул, что основной целью чат-ботов не должно быть прогнозирование ещё не совершённых преступлений: «Это очень новое явление. Законы и политика пока не полностью адаптировались к нему». Он добавил: «Я не уверен, что хотел бы, чтобы эти модели разрабатывались для сбора большего объёма информации, чем сейчас, и для попыток принимать такие решения».

Должна ли переписка с чат-ботом быть конфиденциальной?

Поскольку всё больше людей ежедневно обсуждают с чат-ботами личные вопросы, такие как здоровье, психологическая поддержка и жизненные советы, вокруг необходимости конфиденциальности переписки возникают этические дискуссии.

Альтман на мероприятии в июле 2025 года заявил, что в разговорах с чат-ботами должен действовать тот же принцип конфиденциальности, что и между терапевтом и клиентом.

Роберт Диаб, профессор юридического факультета Университета Томпсона Риверс в Канаде, заявил, что не видит оснований, по которым законы, не считающие признания между преступниками конфиденциальными, должны требовать конфиденциальности для переписки людей с чат-ботами. По его словам, ведущие модели, такие как ChatGPT, способны выявлять пользователей, склонных к преступному поведению, а компании-разработчики могут предотвращать преступления, сообщая властям. Вспоминая стрельбу в Британской Колумбии, Диаб отметил, что до недавнего времени у компаний не было чётких стандартов относительно того, когда следует информировать власти.

В то же время Диаб подчеркнул, что требование сообщать обо всех подозрительных сообщениях может увеличить нагрузку на команды из-за случаев, оказывающихся ложными тревогами. «Даже если меры безопасности станут лучше, чем сейчас, если кто-то захочет совершить преступление с помощью ИИ, способ обойти их всё равно найдётся», - сказал Диаб.