ナレッジパイプラインの作成

ナレッジパイプラインは、生データを検索可能なナレッジベースへと変換するためのドキュメント処理ワークフローです。ワークフローを組み立てるように、さまざまな処理ノードやツールを視覚的に組み合わせて設定し、データ処理の精度や関連性を最適化できます。

普通の場合、ナレッジパイプラインは次の4つの主要ステップで構成されます。

データソース → データ抽出 → データ処理 → ナレッジストレージ

それぞれのステップは特定の目的を担っています。各種ソースからコンテンツを収集し、処理可能なテキストに変換、検索に適した形へ整え、高速かつ正確な検索が可能なフォーマットで保存します。

Difyには特定の用途に最適化されたパイプラインテンプレートが組み込まれているほか、ゼロから独自のナレッジパイプラインを作成することも可能です。本章では、作成方法、全体の流れ、管理方法について解説します。

1. ステップ1：ナレッジパイプラインの作成

   組み込みのテンプレート、空のナレッジパイプラインから始めるか、既存のパイプラインをインポートします。

2. ステップ2：ナレッジパイプラインの構築

   ナレッジパイプラインの仕組みを理解し、異なるノードを構成して、必要なデータ処理フローを構築します。

3. ステップ3：ナレッジパイプラインの公開

   設定をテストした後、パイプラインを公開し、ドキュメント処理の準備をします。

4. ステップ4：ファイルのアップロード

   ドキュメントをアップロードして処理することで、検索可能なナレッジベースを構築します。

5. ステップ5：ナレッジベースの管理と活用

   ドキュメントのメンテナンス、検索精度のテスト、設定の変更などを行います。