.png)
设置-模型供应商
模型类型
在 Dify 中,我们按模型的使用场景将模型分为以下 4 类:-
系统推理模型。 在创建的应用中,用的是该类型的模型。智聊、对话名称生成、下一步问题建议用的也是推理模型。
已支持的系统推理模型供应商:OpenAI、Azure OpenAI Service、Anthropic、Hugging Face Hub、Replicate、Xinference、OpenLLM、讯飞星火、文心一言、通义千问、Minimax、ZHIPU(ChatGLM)
-
Embedding 模型。在数据集中,将分段过的文档做 Embedding 用的是该类型的模型。在使用了数据集的应用中,将用户的提问做 Embedding 处理也是用的该类型的模型。
已支持的 Embedding 模型供应商:OpenAI、ZHIPU(ChatGLM)、Jina AI(Jina Embeddings)
-
Rerank 模型。Rerank 模型用于增强检索能力,改善 LLM 的搜索结果。
已支持的 Rerank 模型供应商:Cohere、Jina AI(Jina Reranker)
-
语音转文字模型。将对话型应用中,将语音转文字用的是该类型的模型。
已支持的语音转文字模型供应商:OpenAI
托管模型试用服务
我们为 Dify 云服务的用户提供了不同模型的试用额度,请在该额度耗尽前设置你自己的模型供应商,否则将会影响应用的正常使用。- OpenAI 托管模型试用: 我们提供 200 次调用次数供你试用体验,可用于 GPT3.5-turbo、GPT3.5-turbo-16k、text-davinci-003 模型。
设置默认模型
Dify 在需要模型时,会根据使用场景来选择设置过的默认模型。在设置 > 模型供应商 中设置默认模型。
.png)
接入模型设置
在 Dify 的设置 > 模型供应商 中设置要接入的模型。
.png)
- 自有模型。该类型的模型供应商提供的是自己开发的模型。如 OpenAI,Anthropic 等。
- 托管模型。该类型的模型供应商提供的是第三方模型。如 Hugging Face,Replicate 等。
使用模型
配置完模型后,就可以在应用中使用这些模型了:.png)