ИИ-игрушка Kumma обсуждала с детьми ножи и интимные темы — OpenAI отключила ее разработчика от API

Компания OpenAI приостановила доступ к своему API для разработчика FoloToy из Сингапура после публикации отчёта Public Interest Research Group. Исследователи проверяли ИИ-игрушки и обнаружили, что плюшевый медведь Kumma, использующий крупные языковые модели для общения с детьми, вёл себя небезопасно. Согласно отчёту, ИИ иногда отвечал так, что мог неправильно трактовать вопросы ребёнка и давать неподходящую или потенциально рискованную информацию. Например, рассказать о ролевых играх в сексе или подробности о наркотиках. Исследователи подчёркивают, что речь шла не о вреде «по намерению», а о некорректной реакции алгоритма, не способного надёжно различать приемлемые и неприемлемые темы. После обращения PIRG, FoloToy временно сняла продукцию с продажи и объявила о полном внутреннем аудите. OpenAI подтвердила, что разработчик нарушил правила о безопасном использовании ИИ в продуктах для детей. Исследователи призывают к более строгому регулированию ИИ-игрушек, поскольку рынок активно растёт, но стандарты безопасности пока формируются.