- 预构建仪表板：为每个跟踪项目自动生成。
- 自定义仪表板：根据您的需求定制的完全可配置的图表集合。
预构建仪表板
预构建仪表板为每个项目自动创建，涵盖基本指标，例如跟踪计数、错误率、令牌使用等。默认情况下，可以使用跟踪项目页面右上角的 Dashboard 按钮访问跟踪项目的预构建仪表板。
您无法修改预构建仪表板。将来，我们计划允许您克隆默认仪表板，以便有一个起点来自定义它。
仪表板部分
预构建仪表板分为以下部分：| 部分 | 显示内容 |
|---|---|
| Traces（跟踪） | 跟踪计数、延迟和错误率。跟踪是与单个操作相关的运行的集合。例如，如果用户请求触发智能体，该智能体调用的所有运行都将是同一跟踪的一部分。 |
| LLM Calls（LLM 调用） | LLM 调用计数和延迟。包括运行类型为”llm”的所有运行。 |
| Cost & Tokens（成本和令牌） | 按令牌类型细分的总令牌计数和每个跟踪的令牌计数和成本。成本使用 LangSmith 的成本跟踪测量。 |
| Tools（工具） | 按工具名称细分的工具运行的运行计数、错误率和延迟统计。包括运行类型为”tool”的运行。限制为前 5 个最常出现的工具。 |
| Run Types（运行类型） | 作为根运行的直接子级的运行的运行计数、错误率和延迟统计。这有助于理解智能体的高级执行路径。限制为前 5 个最常出现的运行名称。请参阅此表后面的图像。 |
| Feedback Scores（反馈分数） | 前 5 个最常出现的反馈类型的聚合统计。图表显示数值反馈的平均分数和分类反馈的类别计数。 |
分组依据
按运行标签或元数据分组可用于根据对应用程序重要的属性拆分数据。全局分组设置显示在仪表板的右上角。请注意，工具和运行类型图表已经应用了分组，因此全局分组不会生效；全局分组将应用于所有其他图表。向运行添加元数据时，我们建议在跟踪以及特定运行（例如 LLM 调用）上具有相同的元数据。元数据和标签不会从父运行传播到子运行，反之亦然。因此，如果您想查看例如跟踪图表和 LLM 调用图表都按某些元数据键分组，那么您的跟踪（根运行）和 LLM 运行都需要附加该元数据。
自定义仪表板
创建定制的图表集合以跟踪对应用程序最重要的指标。创建新仪表板
- 导航到左侧边栏中的 Monitor 选项卡。
- 点击 + New Dashboard 按钮。
- 为仪表板命名并添加描述。
- 点击 Create。
向仪表板添加图表
- 在仪表板中，点击 + New Chart 按钮打开图表创建面板。
- 为图表命名并添加描述。
- 配置图表。
图表配置
选择跟踪项目并过滤运行
- 选择一个或多个要跟踪指标的跟踪项目。
- 使用 Chart filters 部分来细化匹配的运行。此过滤器适用于图表中的所有数据系列。有关过滤跟踪的更多信息，请查看我们的应用程序中过滤跟踪指南。
选择指标
- 从下拉菜单中选择指标以设置图表的 y 轴。选择项目和指标后，您将看到图表和匹配运行的预览。
- 对于某些指标（如延迟、令牌使用、成本），我们支持比较具有相同单位的多个指标。例如，您可能需要一个图表，在其中可以看到提示令牌和完成令牌。每个指标显示为单独的线。
拆分数据
在图表中创建多个系列（即在图表中创建多条线）有两种方法：- 分组依据：按运行标签或元数据、运行名称或运行类型对运行进行分组。分组依据会根据选定的字段自动将数据拆分为多个系列。请注意，分组依据限制为按频率排列的前 5 个元素。
- 数据系列：使用单独的过滤器手动定义多个系列。这对于比较单个指标内的细粒度数据很有用。
选择图表类型
- 在折线图和条形图之间选择以进行可视化
保存和管理图表
- 点击
Save将图表保存到仪表板。 - 通过点击图表右上角的三点按钮编辑或删除图表。
- 通过点击图表右上角的三线按钮并选择 + Clone 来克隆图表。这将打开一个具有与原始图表相同配置的新图表创建面板。
从跟踪项目链接到仪表板
您可以直接从跟踪项目链接到任何仪表板。默认情况下，将选择跟踪项目的预构建仪表板。如果您有想要链接的自定义仪表板：- 在跟踪项目中，点击 Dashboard 按钮旁边的三个点。
- 选择一个仪表板设置为新的默认值。
示例：用户旅程监控
使用监控图表映射智能体在特定节点上做出的决策。 考虑一个电子邮件助手智能体。在特定节点上，它对电子邮件做出决策：- 回复电子邮件
- 通知用户
- 无需响应
-
指标选择：选择指标
Run count。 -
图表过滤器：添加树过滤器以包含所有名称为
triage_input的跟踪。这意味着我们只包含命中triage_input节点的跟踪。还为Is Root添加一个值为true的图表过滤器，这样我们的计数就不会因跟踪中的节点数量而膨胀。
-
数据系列：为在
triage_input节点上做出的每个决策创建一个数据系列。决策的输出存储在输出对象的triage.response字段中，决策的值为no、email或notify。每个决策都会在图表中生成一个单独的数据系列。
triage_input 节点上做出的决策。