В ЛЭТИ создали алгоритм для поиска уязвимостей в нейросетях автопилота

Современные автопилоты полагаются на компьютерное зрение для распознавания объектов, но их можно обмануть: злоумышленники накладывают на изображения незаметные фильтры, которые заставляют нейросеть ошибаться — например, принять дорожный знак за другой предмет. Сейчас устойчивость таких систем проверяют вручную, что медленно и субъективно.

Разработка ЛЭТИ переводит подбор конфигураций в задачу оптимизации. Учёные создали базу данных всех существующих инструментов поиска уязвимостей и эволюционный алгоритм, который автоматически перебирает комбинации методов и настраивает параметры. В тестах новый подход обманул нейросеть в 58% случаев из тысячи картинок, тогда как обычный алгоритм — лишь в 13%. При этом искажения стали менее заметными: визуально они выглядят как лёгкий шум, а не грубая подделка.

Как отмечается, инструмент позволит разработчикам проверять модели до выпуска и заранее устранять уязвимости.