Dify Docs home page
简体中文
Search...
⌘K
Ask AI
Blog
Dify
Dify
Search...
Navigation
应用工具箱
敏感内容审查
使用文档
插件开发
访问 API
资源
入门
欢迎使用 Dify
云服务
Dify 社区版
Dify Premium
Dify 教育版
访问 API
手册
接入大模型
构建应用
构建应用
创建应用
聊天助手
Agent
应用工具箱
应用工具箱
敏感内容审查
工作流
知识库
工具
发布
标注
监测
扩展
协同
管理
动手实验室
简介
初级
中级
社区
寻求支持
成为贡献者
为 Dify 文档做出贡献
插件
功能简介
快速开始
插件管理
接口定义
最佳实践
发布插件
常见问题
研发
DifySandbox
模型接入
迁移
阅读更多
应用案例
扩展阅读
常见问题
政策
开源许可
用户协议
On this page
功能一:调用 OpenAI Moderation API
功能二:自定义关键词
功能三: 敏感词审查 Moderation 扩展
应用工具箱
敏感内容审查
Copy page
我们在与 AI 应用交互的过程中,往往在内容安全性,用户体验,法律法规等方面有较为苛刻的要求,此时我们需要“敏感词审查”功能,来为终端用户创造一个更好的交互环境。 在提示词编排页面,点击“添加功能”,找到底部的工具箱“内容审核”:
功能一:调用 OpenAI Moderation API
OpenAI 和大多数 LLM 公司提供的模型,都带有内容审查功能,确保不会输出包含有争议的内容,比如暴力,性和非法行为,并且 OpenAI 还开放了这种内容审查能力,具体可以参考
platform.openai.com
。现在你也可以直接在 Dify 上调用 OpenAI Moderation API,你可以审核输入内容或输出内容,只要输入对应的“预设回复”即可。
功能二:自定义关键词
开发者可以自定义需要审查的敏感词,比如把“kill”作为关键词,在用户输入的时候作审核动作,要求预设回复内容为“The content is violating usage policies.”可以预见的结果是当用户在终端输入包含“kill”的语料片段,就会触发敏感词审查工具,返回预设回复内容。
功能三: 敏感词审查 Moderation 扩展
不同的企业内部往往有着不同的敏感词审查机制,企业在开发自己的 AI 应用如企业内部知识库 ChatBot,需要对员工输入的查询内容作敏感词审查。为此,开发者可以根据自己企业内部的敏感词审查机制写一个 API 扩展,具体可参考
敏感内容审查
,从而在 Dify 上调用,实现敏感词审查的高度自定义和隐私保护。
比如我们在自己的本地服务中自定义敏感词审查规则:不能查询有关美国总统的名字的问题。当用户在
query
变量输入”Trump”,则在对话时会返回 “Your content violates our usage policy.” 测试效果如下:
编辑此页面
|
提交问题
Was this page helpful?
Yes
No
应用工具箱
工作流
Assistant
Responses are generated using AI and may contain mistakes.