Бывший сотрудник OpenAI раскритиковал подход компании к безопасности ИИ

Робинсон проработал в OpenAI три с половиной года, участвовал в подготовке системы оценки готовности и курировал отчеты по безопасности для 12 запусков передовых моделей. По его мнению, компаниям нужно уделять больше внимания исследованиям безопасности до разработки более мощных систем.

Он отметил, что OpenAI активно использует поэтапный выпуск моделей, при котором защитные меры усиливаются после выявления проблем. Робинсон считает, что такой подход уже недостаточен для передовых систем и предлагает ориентироваться на практики отраслей с высокими требованиями к безопасности.

По его оценке, развитие возможностей ИИ опережает понимание методов выравнивания систем с целями и ценностями человека. В OpenAI заявили, что при необходимости останавливают обучение или откладывают выпуск моделей.