Mac 本地部署 DeepSeek-OCR

type

status

date

slug

summary

环境准备

Rust 1.78+（支持 2024 Edition）

可选：macOS 13+ 的 Apple Silicon（用于 Metal）

可选：Linux/Windows 的 NVIDIA GPU（需 CUDA 12.2+ 工具链与驱动，当前为alpha阶段）

可选：x86 平台安装 Intel oneMKL（预览），用于提升 CPU 推理性能

推荐：配置 HF_TOKEN 访问 Hugging Face deepseek-ai/DeepSeek-OCR（若该源不可用会自动切换 ModelScope）

https://huggingface.co/settings/tokens

操作指南

官方 DeepSeek-OCR 依赖 Python + Transformers，部署体积大、依赖多，嵌入原生系统成本高，故使用 github 开源统一打包好的项目deepseek-ocr.rs。该项目是基于Rust 实现的 DeepSeek-OCR 推理栈，提供快速 CLI 与 OpenAI 兼容的 HTTP Server，统一打包模型加载、视觉输入预处理、提示词工具与服务端能力，方便在本地 CPU、Apple Metal 或 NVIDIA CUDA GPU(alpha) 上构建文档理解工作流。

1.rust环境准备

安装 rustup：安装类型输入 1（默认选项）即可继续安装默认配置。

配置环境变量：zsh的 ~/.zshrc 或者bash的 ~/.bashrc 加上

验证：

2.预构建产物

1.克隆仓库

编译并运行项目

第一次运行 CLI 或 Server 会把配置、tokenizer 及 ~6.3GB 的 model-00001-of-000001.safetensors 下载到 Cache 缓存，位置在

~/Library/Caches/deepseek-ocr/models/deepseek-ocr/ 并在系统配置目录~/Library/Application\ Support/deepseek-ocr/config.toml生成带默认值的 config.toml

命令行工具

http server 工具

参数说明：

-prompt / -prompt-file：包含 <image> 占位符的提示词
-image：与 <image> 数量一致的图片路径
-device / -dtype：macOS 建议 -device metal --dtype f16，NVIDIA 用户使用 -device cuda --dtype f16
-max-new-tokens：生成长度上限

http 客户端调用

默认配置

注意：在cargo build/run deepseek-ocr-cli 之后再想cargo build/run deepseek-ocr-server 需要 cargo clean 清理，否则存留的生成产物 crates 不会被覆盖。

使用效果

这里使用图形化页面比较方便测试，推荐用Open WebUI

open-webui
Github
open-webui
Owner
open-webui
Updated
Nov 2, 2025

安装Open WebUI