[ИССЛЕДОВАНИЯ]
ReplaySSM ускорил декодирование гибридных моделей до 1.47 раза
NVIDIA и Dao AI Lab at Princeton представили ReplaySSM, чтобы сервисы на гибридных моделях быстрее выдавали следующие фрагменты текста, сообщила компания. В тестах шаг декодирования ускорился в 1.20 до 1.47 раза при размере пакета 256.
3 мин чтения