将 Ollama 与 AutoGPT 配合运行¶
重要提示: Ollama 集成仅在使用 AutoGPT 平台进行自托管时可用。它不能用于云托管版本。
按照以下步骤设置 Ollama 并将其与 AutoGPT 平台配合运行。
先决条件¶
- 请确保您已完成 AutoGPT 设置 步骤,如果尚未完成,请先完成再继续本指南。
- 开始之前,请确保您的机器上已安装 Ollama。
设置步骤¶
1. 启动 Ollama¶
打开一个新的终端并执行
ollama run llama3.2
注意: 这将下载 llama3.2 模型并启动服务。请保持此终端在后台运行。
2. 启动后端¶
打开一个新的终端并导航到 autogpt_platform 目录
cd autogpt_platform
docker compose up -d --build
3. 启动前端¶
打开一个新的终端并导航到 frontend 目录
cd autogpt_platform/frontend
npm run dev
然后访问 http://localhost:3000 查看运行中的前端,注册账号/登录后,导航至构建页面 http://localhost:3000/build
4. 将 Ollama 与 AutoGPT 配合使用¶
现在 Ollama 和 AutoGPT 平台都在运行,我们可以开始将 Ollama 与 AutoGPT 配合使用了
-
向您的工作区添加一个 AI 文本生成器块(它可以与任何 AI LLM 块配合使用,但本示例将使用 AI 文本生成器块):
-
在“LLM 模型”下拉菜单中,选择“llama3.2”(这是我们之前下载的模型)
-
现在我们需要添加一些提示词,然后保存并运行图:
完成了!您已成功设置 AutoGPT 平台并向 Ollama 发起了 LLM 调用。
在远程服务器上将 Ollama 与 AutoGPT 配合使用¶
要在远程服务器上运行 Ollama,只需确保 Ollama 服务器正在运行,并且可以通过端口 11434 从网络上的其他设备/远程访问,然后您可以按照上面的相同步骤操作,但需要将 Ollama 服务器的 IP 地址添加到块设置中的“Ollama 主机”字段,如下所示
故障排除¶
如果您遇到任何问题,请验证以下内容
- Ollama 已正确安装并正在运行
- 在操作期间所有终端都保持打开状态
- 在启动后端之前 Docker 正在运行
常见错误
- 连接被拒绝: 确保 Ollama 正在运行且主机地址正确(也要确保端口正确,默认端口是 11434)
- 未找到模型: 请先尝试手动运行
ollama pull llama3.2
- Docker 问题: 使用
docker ps
确保 Docker 守护程序正在运行