В OpenAI поделились, как следят за незаконным общением с ChatGPT

В последнем отчете представлены новые случаи за последний квартал. Например, организованная преступная группа из Камбоджи пыталась использовать ИИ для ускорения своей работы. Также выявлялись аккаунты, якобы связанные с китайским правительством.

OpenAI объяснила, что мониторинг ведется через сочетание автоматических систем и проверок людьми, при этом внимание уделяется паттернам поведения злоумышленников, а не отдельным запросам.

Компания также уделяет внимание психологической безопасности. Если пользователь сообщает о намерении причинить себе вред, ChatGPT не выполняет опасные инструкции, а направляет человека к помощи и поддержке. В случаях угроз другим людям разговоры проверяются человеком, который может при необходимости уведомить правоохранительные органы.

OpenAI признает, что безопасность модели может снижаться при длительных сессиях, и уже работает над улучшением механизмов защиты.