02) AI 相关-AI 编排平台 Dify 学习:dify接入 Ollama 本地大模型和公有云模型、配置deepseek 公有云模型
发布时间:2026/8/10 12:04:44
分类:文化教育
浏览:1234
 AI 相关-AI 编排平台 Dify 学习:dify接入 Ollama 本地大模型和公有云模型、配置deepseek 公有云模型)
本文记录 Dify 平台部署完成后,如何接入本地 Ollama 模型,以及如何接入公有云大模型。当前环境:Dify 访问地址:http://192.168.xx.xx:80Dify 服务器内网 IP:192.168.xx.xxOllama 服务地址:http://192.168.xx.xx:11434Ollama 已经下载好本地模型一、本文目标第一篇已经完成 Dify 平台安装。本篇继续完成模型接入:确认 Ollama 服务正常。确认 Dify 容器可以访问 Ollama。在 Dify 中安装 Ollama 插件。添加 Ollama 本地聊天模型。添加 Ollama 本地 Embedding 模型。接入公有云模型。在 Dify 中设置默认模型并测试。二、为什么要先配置模型Dify 本身是 AI 应用编排平台,不自带大模型能力。要让 Dify 能正常创建聊天应用、Agent 或 RAG 知识库,需要至少配置两类模型:模型类型作用是否必须LLM / Chat Model负责对话、总结、推理、生成回答必须Text Embedding负责把文本转成向量,用于知识库检索做 RAG 时必须Rerank对召回片段重新排序,提高 RAG 准确率可选如果只是做普通聊天,配置聊天模型即可。如果要做知识库问答,也就是 RAG,必须再配置 Embedding 模型。三、确认 Ollama 本地服务查看本机已经下载了哪些 Ollama 模型,后面在 Dify 中填写的模型名称,必须和这里显示的模型名称一致。ollama查询已下载模型列表:我使用docker安装的ollamasudodockerexec-itollama ollama list测试 Ollama API:curlhttp://192.168.xx.xx:11434/api/tags作用:验证 Ollama HTTP API 是否可访问,正常会返回本地模型列表 JSON,如果访问失败,先检查 Ollama 是否启动。四、下载本地聊天模型我已下载好qwen2.5:14b,下载指令sudodockerexec-itollama ollama pull qwen2.5:14b后续在 Dify 中填写模型名称时,必须和ollama list显示的一致。五、下载 Embedding 模型如果后续要做 RAG 知识库,必须配置 Embedding 模型。下载常用 Embedding 模型:dockerexec-itollama ollama pull nomic-embed-text查看:dockerexec