在深入了解此内容之前,阅读以下内容可能会有所帮助:
反馈是 LangSmith 存储特定跟踪或中间运行(跨度)的评估标准和分数的方式。反馈可以通过多种方式产生,例如:
  1. 从 LLM 应用程序随跟踪一起发送
  2. 由用户在应用程序中内联生成或在注释队列中生成
  3. 离线评估期间由自动评估器生成
  4. 在线评估器生成
反馈以简单格式存储,包含以下字段:
字段名称类型描述
idUUID记录本身的唯一标识符
created_atdatetime创建记录时的时间戳
modified_atdatetime上次修改记录时的时间戳
session_idUUID运行所属的实验或跟踪项目的唯一标识符
run_idUUID会话中特定运行的唯一标识符
keystring描述反馈标准的键,例如 “correctness”
scorenumber与反馈键关联的数值分数
valuestring保留用于存储与分数关联的值。对分类反馈很有用。
commentstring与记录关联的任何评论或注释。这可以是给定分数的理由。
correctionobject保留用于存储更正详细信息(如果有)
feedback_sourceobject包含有关反馈源的信息的对象
feedback_source.typestring反馈源的类型,例如 “api”、“app”、“evaluator”
feedback_source.metadataobject保留用于其他元数据
feedback_source.user_idUUID提供反馈的用户的唯一标识符
Here is an example JSON representation of a feedback record in the above format:
{
  "created_at": "2024-05-05T23:23:11.077838",
  "modified_at": "2024-05-05T23:23:11.232962",
  "session_id": "c919298b-0af2-4517-97a2-0f98ed4a48f8",
  "run_id": "e26174e5-2190-4566-b970-7c3d9a621baa",
  "key": "correctness",
  "score": 1.0,
  "value": null,
  "comment": "I gave this score because the answer was correct.",
  "correction": null,
  "id": "62104630-c7f5-41dc-8ee2-0acee5c14224",
  "feedback_source": {
    "type": "app",
    "metadata": null,
    "user_id": "ad52b092-1346-42f4-a934-6e5521562fab"
  }
}

Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.