跳到内容

将 Ollama 与 AutoGPT 配合运行

重要提示: Ollama 集成仅在使用 AutoGPT 平台进行自托管时可用。它不能用于云托管版本。

按照以下步骤设置 Ollama 并将其与 AutoGPT 平台配合运行。

先决条件

  1. 请确保您已完成 AutoGPT 设置 步骤,如果尚未完成,请先完成再继续本指南。
  2. 开始之前,请确保您的机器上已安装 Ollama

设置步骤

1. 启动 Ollama

打开一个新的终端并执行

ollama run llama3.2

注意: 这将下载 llama3.2 模型并启动服务。请保持此终端在后台运行。

2. 启动后端

打开一个新的终端并导航到 autogpt_platform 目录

cd autogpt_platform
docker compose up -d --build

3. 启动前端

打开一个新的终端并导航到 frontend 目录

cd autogpt_platform/frontend
npm run dev

然后访问 http://localhost:3000 查看运行中的前端,注册账号/登录后,导航至构建页面 http://localhost:3000/build

4. 将 Ollama 与 AutoGPT 配合使用

现在 Ollama 和 AutoGPT 平台都在运行,我们可以开始将 Ollama 与 AutoGPT 配合使用了

  1. 向您的工作区添加一个 AI 文本生成器块(它可以与任何 AI LLM 块配合使用,但本示例将使用 AI 文本生成器块): 添加 AI 文本生成器块

  2. 在“LLM 模型”下拉菜单中,选择“llama3.2”(这是我们之前下载的模型) 选择 Ollama 模型

  3. 现在我们需要添加一些提示词,然后保存并运行图: 添加提示词

完成了!您已成功设置 AutoGPT 平台并向 Ollama 发起了 LLM 调用。 Ollama 输出

在远程服务器上将 Ollama 与 AutoGPT 配合使用

要在远程服务器上运行 Ollama,只需确保 Ollama 服务器正在运行,并且可以通过端口 11434 从网络上的其他设备/远程访问,然后您可以按照上面的相同步骤操作,但需要将 Ollama 服务器的 IP 地址添加到块设置中的“Ollama 主机”字段,如下所示

Ollama Remote Host

故障排除

如果您遇到任何问题,请验证以下内容

  • Ollama 已正确安装并正在运行
  • 在操作期间所有终端都保持打开状态
  • 在启动后端之前 Docker 正在运行

常见错误

  1. 连接被拒绝: 确保 Ollama 正在运行且主机地址正确(也要确保端口正确,默认端口是 11434)
  2. 未找到模型: 请先尝试手动运行 ollama pull llama3.2
  3. Docker 问题: 使用 docker ps 确保 Docker 守护程序正在运行