Разработки исследователей Сбера помогут в обучении нейросетей

На международной конференции EACL 2024 представители Сбера рассказали о том, как их разработки сотрудничают с SberDevices для создания новых методов в обучении искусственного интеллекта. Исследователи изучили трансформерные архитектуры моделей, используемых в задачах обработки естественного языка, и обнаружили, какие изменения происходят в их ключевых характеристиках.

Одной из основных целей исследования является уменьшение размеров языковых моделей с минимальной потерей качества, чтобы снизить вычислительные затраты на их обучение. Полученные результаты помогут в создании новых архитектурных решений и оптимизации процесса обучения моделей искусственного интеллекта.