如何使用少样本示例改进评估器

当您无法以编程方式评估系统时，使用 LLM 作为评判者评估器可能非常有用。但是，它们的有效性取决于它们的质量以及它们与人类审查者反馈的一致性。LangSmith 提供使用少样本示例改进 LLM 作为评判者评估器与人类偏好一致性的能力。 人工更正会使用少样本示例自动插入到评估器提示中。少样本示例是受少样本提示启发的技术，它使用少数高质量示例指导模型输出。 本指南介绍如何将少样本示例设置为 LLM 作为评判者评估器的一部分并对反馈分数应用更正。

​

少样本示例的工作原理

• 使用 {{Few-shot examples}} 变量将少样本示例添加到评估器提示中
• 创建带有少样本示例的评估器将自动为您创建数据集，一旦您开始进行更正，该数据集将自动填充少样本示例
• 在运行时，这些示例将插入到评估器中以作为其输出的指南 - 这将帮助评估器更好地与人类偏好保持一致

​

配置您的评估器

在启用少样本示例之前，请设置您的 LLM 作为评判者评估器。如果您还没有这样做，请按照 LLM 作为评判者评估器指南中的步骤操作。

​

1. 配置变量映射

每个少样本示例根据配置中指定的变量映射进行格式化。少样本示例的变量映射应包含与主提示相同的变量，加上 few_shot_explanation 和 score 变量，该变量应与您的反馈键具有相同的名称。 例如，如果您的主提示有变量 question 和 response，并且您的评估器输出 correctness 分数，那么您的少样本提示应该有变量 question、response、few_shot_explanation 和 correctness。

​

2. 指定要使用的少样本示例数量

您还可以指定要使用的少样本示例数量。默认值为 5。如果您的示例非常长，您可能希望将此数字设置得更低以节省令牌 - 而如果您的示例往往很短，您可以设置更高的数字以便为您的评估器提供更多示例来学习。如果您的数据集中有比此数字更多的示例，我们将为您随机选择它们。

​

进行更正

当您开始记录跟踪或运行实验时，您可能会不同意评估器给出的某些分数。当您对这些分数进行更正时，您将开始看到在更正数据集中填充的示例。在进行更正时，请确保附加解释 - 这些将被填充到您的评估器提示中以代替 few_shot_explanation 变量。 少样本示例的输入将是链/数据集的输入、输出和参考（如果这是离线评估器）的相关字段。输出将是更正的评估器分数和您在进行更正时创建的解释。随意编辑这些内容。以下是更正数据集中少样本示例的示例： 请注意，更正可能需要一两分钟才能填充到您的少样本数据集中。一旦它们在那里，您的评估器的未来运行将在提示中包含它们！

​

查看您的更正数据集

要查看您的更正数据集：

• 在线评估器：选择您的运行规则并单击 Edit Rule
• 离线评估器：选择您的评估器并单击 Edit Evaluator

前往 Improve evaluator accuracy using few-shot examples 部分中链接的更正数据集。您可以在数据集中查看和更新您的少样本示例。

---