📰 来源：Towards Data Science　|　📅 翻译日期：2026年7月5日
🔗 原文：查看原文
🤖 翻译：DeepSeek AI · 仅供参考

引言：为何要本地部署大模型？

你可能已经看到过这样的新闻：前沿AI模型正日益面临严格的出口管制或不断上涨的API成本。

随着这项技术嵌入我们的日常生活，开源运动不仅仅是一种哲学偏好，更是让AI掌握在普通用户手中的必要机制。我们尚未达到与大型科技实验室的专有模型平起平坐的水平，它们在纯性能上仍占据领先优势。但是，我们可以期待差距正在迅速缩小。一个独立的开发者与研究者社区夜以继日地努力，确保任何拥有计算机的人都能接触到这项技术。

如今，真正民主化的基础已经存在：你可以在自己的笔记本上完全运行一个功能强大的模型。在今天这个实验中，我打算找到一个能完全在笔记本上运行的大语言模型，并用它来完成平时交由大型实验室模型处理的简单任务。

我们将在我的 MacBook Air 上安装 Qwen 3 8B，完全离线运行，最终让语言模型常驻于我的本地机器，而不是遥远的服务器。Qwen 模型系列由阿里巴巴训练，完全开源，任何人都可以从网上下载。该模型拥有 90亿 个参数，加载后占用约 6GB 内存。

以下是从零开始在 Apple Silicon Mac 上运行本地 LLM 的实用指南，包含所需的终端命令。但在此之前，我们先聊聊为什么值得这么做。

为什么要做这件事？

大多数时候，云端模型更好、更方便。我不会假装一个 80亿 参数的笔记本模型能打败前沿AI。它不能，我仍然会用强大的云端模型来处理繁重任务。

但 AI 领域持续的价格和主权之争，可能使开源和本地模型在未来变得至关重要——当能够访问这项技术将成为巨大优势时。每次使用 Claude 或 ChatGPT，你都在将数据发送到远程服务器，而这些访问随时可能被阻断。

“数字主权”是一个宏大的词汇，却对应着一个非常朴素的愿望：我们希望拥有那个读取我们最私密想法的东西，就像你拥有一本实体笔记本或在家里存放一些现金一样。

一个本地模型清晰地回应了AI世界的这一需求。一旦下载完成，没有任何东西离开你的机器。没有 API 密钥，没有不断变化的服务条款，没有悄悄的数据保留政策。你可以拔掉 Wi-Fi 卡，它依然能正常工作。对于工作中高度敏感的部分，仅此一点就值得为之买单。

人们喜欢说本地模型正在“民主化”AI。我希望这是真的，但我们尚未达到那个地步。运行这一套方案仍然假设你拥有一台价值 €1,500、内存充足的笔记本电脑，并且熟悉命令行。这只是世界上一个狭窄而幸运的群体。

但趋势是民主化的。两年前，运行一个像样的离线模型需要一台专用工作站和巨大的技术痛苦。而这个周末，我只花了几个小时和 5GB 的磁盘空间。

那么，让我们开始安装。

机器与规格

我在一台 MacBook Air M4 上完成搭建，配备 24GB 统一内存和约 235GB 可用存储。这是一次全新开始：没有 Homebrew，没有 Python 环境噩梦。

真正关键的数字是 24GB。Apple Silicon 的“统一内存”是让 Mac 在这方面如此出色的魔法：CPU 和 GPU 共享同一内存池，庞大的神经网络权重无需在两者之间缓慢传输。

一个 8B 模型在磁盘上占用约 5GB，加载后占用内存约 6GB。在 24GB 的机器上，这非常舒适。你可以运行 14B 模型，同时还能打开几十个浏览器标签页。（如果你的 Mac 只有 8GB，请坚持使用 1.5B 或 3B 模型，并关闭其他应用。）

为什么选择 Ollama？

运行本地 AI 的方式有很多，但大多数都要求你关心编译器标志和依赖树。你不应该这样。

Ollama 是一个开源框架和工具，开箱即用。它是一个单一的二进制文件，捆绑了高度优化的模型运行器（llama.cpp 使用 Apple 的 Metal 进行 GPU 加速）、一个类似 Docker 的模型注册表，以及一个本地 HTTP API。你安装它，拉取一个模型，然后和它对话。就这么简单！

步骤 1：安装 Ollama（无需 Homebrew）

Ollama 以标准 macOS 应用的形式提供，打包在 zip 文件中。命令行界面（CLI）隐藏在应用包内，因此我们可以完全手动设置。

# 下载针对 Apple Silicon 的构建版本
cd ~/Downloads
curl -L -o Ollama-darwin.zip https://ollama.com/download/Ollama-darwin.zip
# 解压并移动到 Applications 文件夹
unzip -o -q Ollama-darwin.zip
mv Ollama.app /Applications/

如果你不知道如何打开终端，只需在 Mac 应用中搜索“终端”即可。

步骤 2：将 Ollama 添加到 PATH

我不想与 /usr/local/bin 的 sudo 权限较劲，因此将捆绑的 CLI 符号链接到我拥有的本地目录——这只是为了加快安装和启动 LLM 的便捷快捷方式。

# 创建本地 bin 目录并符号链接 CLI
mkdir -p ~/.local/bin
ln -sf /Applications/Ollama.app/Contents/Resources/ollama ~/.local/bin/ollama

# 使其在 zsh 配置文件中永久生效
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.zshrc
# 应用到当前 shell
export PATH="$HOME/.local/bin:$PATH"
ollama --version

步骤 3：启动服务器

Ollama 运行一个轻量级的后台服务器来暴露 API 并管理计算机的内存。

# 启动服务器并记录日志
mkdir -p ~/.ollama/logs
nohup ollama serve > ~/.ollama/logs/serve.log 2>&1 &

# 检查是否运行
curl -s http://127.0.0.1:11434/api/version

以上命令返回时，说明服务器已成功启动。