В России создали защиту от «отравления» данных для обучения ИИ

Как сообщил академик Арутюн Аветисян, директор Института системного программирования РАН, проблема «отравления» данных, когда киберпреступники вносят искажения в обучающие базы, приводит к сбоям в работе ИИ, включая ложные результаты. Для решения этой проблемы ученые разработали набор тестовых данных SLAVA, который помогает оценить корректность алгоритмов и защититься от атак. Также были созданы доверенные версии фреймворков для работы с ИИ.

Аветисян отметил, что с ростом применения генеративных моделей ИИ, защита таких систем становится все более актуальной. Проблемы, связанные с ошибками ИИ, уже привели к мошенничествам, использующим фейковые видео и даже к судебным решениям, основанным на неверных данных. Однако, по словам академика, отказываться от ИИ невозможно — это приведет к технологическому отставанию. Вместо этого, необходимо создавать доверенные ИИ-системы, опираясь на современные научные разработки.