Ollama 显存不足怎么解决?从 CUDA out of memory、上下文长度到 GGUF 量化与 CPU 回退的完整排查指南
当 Ollama 报出 CUDA out of memory、模型加载失败,或者明明安装了显卡却显示主要使用 CPU 时,问题通常不只是“显存太小”。 在实际环境中,模型权重、上下文长度、KV Cache、并发请求、量化格式、其他 GPU 进程以及容器配置都会影响显存占用。错误地调整其中任何一项,都可能让原本能够运行的模型突然 OOM。 本文给出一套可复现的排查流程,适用于 Linux、Windows、WSL2、Docker,以及使用 NVIDIA GPU 的常见 Ollama 部署。AMD ROCm