Langfuseとは
LangfuseはLLMアプリケーションの開発者がデバッグ、分析、イテレーション等を使用してアプリケーションのパフォーマンスを向上させるためのツールです。Langfuseの設定方法
- まず、公式サイト に登録し、Langfuseにログインします。
- ログイン後、Langfuseでプロジェクトを作成します。ホームページで New をクリックして、自分のプロジェクトを作成します。この プロジェクト はDify内の アプリケーション とデータ監視に関連付けられます。
.png)
Langfuse 内でプロジェクトを作成する
.png)
Langfuse 内でプロジェクトを作成する
- プロジェクト認証情報の作成のために、左のサイドバーでプロジェクト 設定 をクリックする。
.png)
Langfuse 内でプロジェクトを作成する
.png)
Langfuse 内でプロジェクトを作成する
.png)
Langfuse API Key 配置
- Dify アプリの中に Langfuse を設定するために、監視用のアプリのサイトメニューの監視ボタンをクリックし，設定をクリックします。
Langfuseを設定します
Langfuseを設定します
監視状態を見る
Langfuse ページで監視データをチェックします
設定後， DifyのアプリやLLMの応答データは Langfuse で確認できるようになります。
Difyでのアプリの調整
Langfuseでアプリデータを見る
.png)
Langfuseでアプリデータを見る
監視データのリスト
ワークフローとチャットフローの情報をトレースする
ワークフローとチャットフローをトレースする| Workflow | LangFuse Trace |
|---|---|
| workflow_app_log_id/workflow_run_id | id |
| user_session_id | user_id |
| workflow_ | name |
| start_time | start_time |
| end_time | end_time |
| inputs | input |
| outputs | output |
| Model token consumption | usage |
| metadata | metadata |
| error | level |
| error | status_message |
| [workflow] | tags |
| [“message”, conversation_mode] | session_id |
| conversion_id | parent_observation_id |
- workflow_id - ワークフローのユニークID
- conversation_id - 会話ID
- workflow_run_id - このランタイムのワークフローID
- tenant_id - テナントID
- elapsed_time - このランタイムの経過時間
- status - ランタイムのステータス
- version - ワークフローのバージョン
- total_tokens - このランタイムで使用されたトークンの合計
- file_list - 処理されたファイルのリスト
- triggered_from - このランタイムをトリガーしたソース
- workflow_run_inputs - このワークフローの入力
- workflow_run_outputs - このワークフローの出力
- error - エラーメッセージ
- query - ランタイムで使用されるクエリ
- workflow_app_log_id - ワークフローアプリケーションログID
- message_id - 関連するメッセージID
- start_time - このランタイムの開始時刻
- end_time - このランタイムの終了時刻
- workflow node executions - ワークフローノードのランタイム情報
- Metadata
- workflow_id - ワークフローのユニークID
- conversation_id - 会話ID
- workflow_run_id - このランタイムのワークフローID
- tenant_id - テナントID
- elapsed_time - このランタイムの経過時間
- status - 運用状態
- version - ワークフローのバージョン
- total_tokens - このランタイムで使用されたトークンの合計
- file_list - 処理されたファイルのリスト
- triggered_from - このランタイムをトリガーしたソース
Message Trace 情報
LLMの会話内容をトレースする| Message | LangFuse Generation/Trace |
|---|---|
| message_id | id |
| user_session_id | user_id |
| message_ | name |
| start_time | start_time |
| end_time | end_time |
| inputs | input |
| outputs | output |
| Model token consumption | usage |
| metadata | metadata |
| error | level |
| error | status_message |
| [“message”, conversation_mode] | tags |
| conversation_id | session_id |
| conversion_id | parent_observation_id |
- message_id - メッセージID
- message_data - メッセージデータ
- user_session_id - ユーザーのセッションID
- conversation_model - 会話モデル
- message_tokens - メッセージトークン
- answer_tokens - 回答トークン
- total_tokens - メッセージと回答のトータルトークン
- error - エラーメッセージ
- inputs - 入力データ
- outputs - 出力データ
- file_list - 処理されたファイルのリスト
- start_time - 開始時刻
- end_time - 終了時刻
- message_file_data - 関連ファイルデータのメッセージ
- conversation_mode - 会話モード
- Metadata
- conversation_id - 会話ID
- ls_provider - モデルプロバイダ
- ls_model_name - モデルID
- status - メッセージステータス
- from_end_user_id - 送信ユーザーID
- from_account_id - 送信アカウントID
- agent_based - エージェントベースか
- workflow_run_id - このランタイムのワークフローID
- from_source - メッセージのソース
- message_id - メッセージID
Moderation Trace 情報
会話モデレーションをトレースする| Moderation | LangFuse Generation/Trace |
|---|---|
| user_id | user_id |
| moderation | name |
| start_time | start_time |
| end_time | end_time |
| inputs | input |
| outputs | output |
| metadata | metadata |
| [moderation] | tags |
| message_id | parent_observation_id |
- message_id - メッセージID
- user_id - ユーザーID
- workflow_app_log_id - ワークフローアプリケーションログID
- inputs - レビュー用の入力データ
- message_data - メッセージデータ
- flagged - 注目対象としてフラグが立てられているか
- action - 実行すべき具体的なアクション
- preset_response - 事前設定の応答
- start_time - レビューの開始時刻
- end_time - レビューの終了時刻
- Metadata
- message_id - メッセージID
- action - 実行すべき具体的なアクション
- preset_response - 事前設定の応答
提案された質問トレース情報
提案された質問をトレースする| Suggested Question | LangFuse Generation/Trace |
|---|---|
| user_id | user_id |
| suggested_question | name |
| start_time | start_time |
| end_time | end_time |
| inputs | input |
| outputs | output |
| metadata | metadata |
| [suggested_question] | tags |
| message_id | parent_observation_id |
- message_id - メッセージID
- message_data - メッセージデータ
- inputs - 入力データ
- outputs - 出力データ
- start_time - 開始時刻
- end_time - 終了時刻
- total_tokens - トータルトークン
- status - メッセージの状態
- error - エラーメッセージ
- from_account_id - 送信元アカウントのID
- agent_based - エージェントベースであるかどうか
- from_source - メッセージの発信元
- model_provider - モデルのプロバイダー
- model_id - モデルのID
- suggested_question - 提案された質問
- level - ステータスのレベル
- status_message - ステータスメッセージ
- Metadata
- message_id - メッセージのID
- ls_provider - モデルのプロバイダー
- ls_model_name - モデルの名前
- status - メッセージの状態
- from_end_user_id - 送信元ユーザーのID
- from_account_id - 送信元アカウントのID
- workflow_run_id - このランタイムにおけるワークフローのID
- from_source - メッセージの発信元
Dataset Retrieval Trace 情報
ナレッジベースの取得をトレースする| データセットの取得 | LangFuse生成/トレース |
|---|---|
| user_id | user_id |
| dataset_retrieval | name |
| start_time | start_time |
| end_time | end_time |
| inputs | input |
| outputs | output |
| metadata | metadata |
| [dataset_retrieval] | tags |
| message_id | parent_observation_id |
- message_id - メッセージのID
- inputs - 入力メッセージ
- documents - ドキュメントデータ
- start_time - 開始時間
- end_time - 終了時間
- message_data - 消息数据
- Metadata
- message_id - メッセージのID
- ls_provider - モデルのプロバイダー
- ls_model_name - モデルの名前
- status - モデルの状態
- from_end_user_id - 送信元ユーザーのID
- from_account_id - 送信元アカウントのID
- agent_based - エージェントベースであるかどうか
- workflow_run_id - このランタイムにおけるワークフローのID
- from_source - メッセージの発信元
Tool Trace 情報
ツールの呼び出しをトレースする| ツール | LangFuse生成/トレース |
|---|---|
| user_id | user_id |
| tool_name | name |
| start_time | start_time |
| end_time | end_time |
| inputs | input |
| outputs | output |
| metadata | metadata |
| [“tool”, tool_name] | tags |
| message_id | parent_observation_id |
- message_id - メッセージのID
- tool_name - ツール名
- start_time - 開始時間
- end_time - 終了時間
- tool_inputs - ツールの入力
- tool_outputs - ツールの出力
- error - エラーメッセージ（存在する場合）
- inputs - メッセージの入力
- outputs - メッセージの出力
- tool_config - ツールの構成
- tool_parameters - ツールのパラメータ
- file_url - 関連ファイルのURL
- Metadata
- message_id - メッセージのID
- tool_name - ツール名
- tool_inputs - ツールの入力
- tool_outputs - ツールの出力
- tool_config - ツールの構成
- error - エラーメッセージ
- tool_parameters - ツールのパラメータ
- message_file_id - メッセージファイルのID
- created_by_role - 作成者の役割
- created_user_id - 作成ユーザーのID
Generate Name Trace 情報
会話のタイトル生成をトレースする| Generate Name | LangFuse Generation/Trace |
|---|---|
| user_id | user_id |
| generate_name | name |
| start_time | start_time |
| end_time | end_time |
| inputs | input |
| outputs | output |
| metadata | metadata |
| [generate_name] | tags |
- conversation_id - 会話のID
- inputs - 入力データ
- outputs - 生成されたセッション名
- start_time - 開始時間
- end_time - 終了時間
- tenant_id - テナントID
- Metadata
- conversation_id - 会話のID
- tenant_id - テナントID