Ученые сократили время предобучения языковых моделей на 50%

Технология под названием SubTrack++ сокращает время предобучения модели — самый затратный этап — до 50%. При этом точность работы системы не только сохраняется, но и превышает современные аналоги.

Создание LLM требует огромных вычислительных ресурсов, специального оборудования и электроэнергии, что ограничивает разработку крупными корпорациями. Новый метод фокусируется на ключевых параметрах модели, упрощая процесс корректировки ошибок.

Как пояснили авторы, обучение похоже на чтение целой библиотеки для понимания закономерностей языка. SubTrack++ позволяет эффективнее выстраивать этот процесс.

Исследование способствует развитию доступного и ответственного ИИ. Ускорение и снижение стоимости обучения откроет возможность создания персонализированных цифровых помощников, адаптированных под индивидуальные нужды.