Ollama 是一个开源的大型语言模型（LLM）平台，让用户能够在本地部署和运行大型语言模型，提供了简单的方式来运行各种预训练的语言模型，包括 Llama 3.3、DeepSeek-R1、Phi-4、Mistral、Gemma 2 等语言模型。Ollama 支持纯 CPU 推理和各类底层计算架构，能够更好地利用不同类型的硬件资源。
一、准备环境
最低硬件配置：双核 CPU（支持 AVX2 指令集）/ 4GB 内存 / 30GB 存储
推荐硬件配置：四核 CPU（支持 AVX2 指令集）/ NVIDIA GPU（RTX 3090 或更高） / 16GB 内存 / 60GB 存储
软件依赖：Windows、macOS、Linux 或 Docker 容器。
二、安装 Ollama
访问 Ollama 官网或者 GitHub Pages，下载安装包并安装。
三、验证软件版本
在终端输入以下命令，检查 Ollama 版本：
ollama --version
四、下载并部署语言模型
根据硬件配置选择合适的模型版本。Ollama 官网提供了多种开源模型 https://ollama.com/library
入门级：1.5B 版本，适合初步测试。
中端：7B 或 8B 版本，适合大多数消费级 GPU。
高性能：14B、32B 或 70B 版本，适合高端 GPU。
在终端输入相应的命令，下载并运行模型，例如，下载 DeepSeek 1.5B 版本的命令为：
ollama run deepseek-r1:1.5b
注意：如果出现“Error”提示，需要自行寻找更友好的网络环境，再进行下载。
五、启动 Ollama 服务
Ollama 服务默认为开机启动，可以通过浏览器访问 http://localhost:11434 来查看 Ollama 的运行情况。显示 Ollama is running 表示已经启动。
如果 Ollama 没有正确启动服务，在终端运行以下命令，启动 Ollama 服务：
ollama serve
六、安装 chatbox
由于使用命令的方式来使用语言模型很不方便，无法对聊天内容进行高效管理。所以需要安装一个类似于 Chat GPT 这样的对话功能软件。
Chatbox 是一个 AI 模型桌面客户端，支持 ChatGPT、Claude、Google Gemini、Ollama 等主流模型，适用于 Windows、Mac、Linux、Web、Android 和 iOS 全平台。
访问 Chatbox 官网，下载安装包并安装。
七、配置 Chatbox
Chatbox 安装完成之后，需要在设置选择使用“OLLAMA API”为模型提供方，使用“http://127.0.0.1:11434/”作为 API 域名，模型选择之前下载的“deepseek-r1:1.5b”，其他设置可以根据个性化调节。
保存配置后，我们就可以使用 Chatbox 与语言模型进行对话了。
总结
本地部署大型语言模型（LLM）能确保数据隐私，敏感信息无需传输到外部服务器，降低泄露风险。其次，消除了网络延迟，提高了响应速度和稳定性。但更新不如云端灵活，扩展性有限，硬件成本高，个人用户可以部署小型本地语言模型用于测试学习。
下载
Ollama 官网下载：https://ollama.com/download
Ollama 网盘下载：https://url66.ctfile.com/f/23371866-1459512502-9a3113?p=2765 (访问密码: 2765)
Chatbox 官网下载：https://chatboxai.app/zh#download
Chatbox 网盘下载：https://url66.ctfile.com/f/23371866-1459512319-40969e?p=2765 (访问密码: 2765)
没有评论:
发表评论