Разработка уже прошла успешные испытания на популярных моделях Llama и Qwen. Применение HARP позволяет вдвое увеличить скорость работы систем, при этом даже в режимах экстремального сжатия уровень ошибок сокращается на 15%. В отличие от многих узкоспециализированных решений, этот алгоритм не требует отказа от привычных инструментов квантования, а дополняет их, встраиваясь в текущие рабочие процессы разработчиков.
Алгоритм HARP ускорит работу нейросетей вдвое
Специалисты МФТИ представили технологию сжатия языковых моделей, которая кратно повышает производительность ИИ-систем без заметной потери точности. Новый алгоритм HARP позволяет дата-центрам эффективнее расходовать вычислительные ресурсы и память, решая одну из главных проблем современной инфраструктуры, связанную с ограничениями пропускной способности оборудования при обработке огромных массивов данных.
Эксперт НТИ Евгений Вишневский отмечает, что такой подход критически важен для российского рынка. Оптимизация имеющихся мощностей дает возможность быстрее масштабировать отечественные ИИ-сервисы и внедрять их в реальные секторы экономики без необходимости экстренной закупки дорогостоящего оборудования. Исходный код HARP и уже оптимизированные нейросети находятся в открытом доступе для всех желающих.
Комментарии (0)
Пока нет комментариев. Будьте первым!