Для «отравления» ИИ хватит 0,00 016% от всего обучающего набора данных

Исследователи из Anthropic выяснили, что чтобы вывести из строя крупную языковую модель, достаточно всего 250 специально подготовленных документов — это около 0,00 016% от всего обучающего набора данных модели с 13 млрд параметров. Атака, известная как отравление данных, подразумевает внесение вредоносной информации в обучающие наборы, чтобы ИИ выдавал ошибочные ответы или выполнял недопустимые действия. В эксперименте учёные добавляли в документы «триггерную фразу» и случайные бессмысленные токены. После обучения модель начинала выдавать «бессмыслицу» при появлении этой фразы в запросе. Исследование показало, что любая модель, независимо от размера — от 600 млн до 13 млрд параметров, — становилась уязвимой, если количество вредоносных документов превышало 250. Проверялись в том числе GPT-3.5-Turbo и Pythia. Учёные отмечают, что их работа касалась простых атак типа «отказ в обслуживании» и не изучала более опасные варианты, например обход защитных ограничений ИИ. Anthropic подчёркивает, что, хотя публикация результатов может дать подсказки потенциальным преступникам, польза для общества перевешивает риск.