LLM 作为评判者评估器并不总是正确的。因此，人工手动审计评估器留下的分数并在必要时进行更正通常很有用。LangSmith 允许您在 UI 或 SDK 中更正评估器分数。

​
在比较视图中

在比较视图中，您可以单击任何反馈标签以显示反馈详细信息。从那里，单击右侧的”edit”图标以显示更正视图。然后，您可以在”Make correction”下的文本框中输入所需的分数。如果您愿意，您还可以为更正附加说明。如果您使用少样本评估器，这很有用，并将自动插入到您的少样本示例中，代替 few_shot_explanation 提示变量。 审计评估器比较视图

​
在运行表中

在运行表中，找到”Feedback”列并单击反馈标签以显示反馈详细信息。再次，单击右侧的”edit”图标以显示更正视图。 审计评估器运行表

​
在 SDK 中

可以通过 SDK 的 update_feedback 函数使用 correction 字典进行更正。您必须指定一个对应于数字的 score 键，以便在 UI 中呈现。 
import langsmith

client = langsmith.Client()

client.update_feedback(
    my_feedback_id,
    correction={
        "score": 1,
    },
)
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.