Об этом сообщил iXBT.
Главное:
- PS5LM Plus использует графический процессор консоли через Vulkan, интерфейс для вычислений на видеочипе.
- Доступная моделям память выросла примерно с 6 до 11,4 ГБ.
- Для запуска приложения нужен взлом PlayStation 5, который может привести к блокировке консоли или учётной записи PlayStation Network.
Проект основан на PS5LM, созданном инженером по искусственному интеллекту Мертом Кобановым. Первая версия в основном использовала центральный процессор и обрабатывала мало данных.
abhi245y перенёс драйвер AMD RADV из проекта Mesa и адаптировал llama.cpp для работы через Vulkan. Драйвер управляет взаимодействием программ с графическим процессором.
Пропускная способность памяти консоли составляет 448 ГБ в секунду. Во время тестирования графический процессор был загружен на 100%, а центральный процессор использовался на 2%.
Более компактная Gemma 4 E4B создавала около 61 токена в секунду. Llama 3.2 3B достигала скорости до 124 токенов в секунду. Токеном называют небольшой фрагмент текста, который модель обрабатывает отдельно.
PS5LM Plus включает веб-интерфейс для общения с моделью. Приложение также предоставляет API, способ подключения других программ, через локальную сеть на порту 8081.
Поддержка интерфейсов OpenAI, американской компании и создателя ChatGPT, и Anthropic, американской компании и создателя чат-бота Claude, позволяет подключать инструменты OpenCode, Codex и Claude Code.
