Приложение Ollama, предназначенное для локального запуска моделей искусственного интеллекта на платформах Windows, macOS и Linux, получило важное обновление. Теперь оно поддерживает аппаратное ускорение на процессорах нового поколения Apple M5.
В отличие от облачных решений, таких как ChatGPT, которые требуют постоянного подключения к интернету и не позволяют запускать модели локально, Ollama предлагает пользователям возможность загружать и запускать модели ИИ прямо на их компьютерах. Открытые модели доступны на платформах сообществ или непосредственно от разработчиков, что делает их загрузку свободной и доступной.
Тем не менее, локальный запуск моделей ИИ может стать настоящим вызовом, поскольку они часто требуют значительных объёмов оперативной и видеопамяти. Чтобы решить эту проблему, команда Ollama внедрила в версию 0.19 поддержку фреймворка машинного обучения MLX, разработанного Apple, а также унифицированной архитектуры памяти. Это значительно увеличивает скорость работы приложения на устройствах с чипами Apple M5.
На данный момент новое обновление поддерживает исключительно новейшие чипы Apple M5, M5 Pro и M5 Max. Ollama 0.19 использует нейроускорители, что сокращает время до первой выдачи токена и улучшает общую скорость генерации токенов. В результате повысилась эффективность работы как персональных ИИ-агентов, таких как OpenClaw, так и специализированных решений, включая OpenCode, Anthropic Claude Code и OpenAI Codex. Однако стоит отметить, что для корректной работы на компьютере должно быть не менее 32 Гбайт унифицированной памяти.